Chapter 4. From Linear Regression to Logistic Regression¶

발표자: 김덕태 (2015-08-31)¶

generalized linear model¶

• a flexible framework that requires fewer assumptions than ordinary linear regression
• special cases of generalized linear model
  • simple linear regression
  • multiple linear regression
  • polynomial regression
  • logistic regression

logistic regression¶

• used for classification tasks
• goal in classification tasks
  • find a function that maps an observation to its associated class or label

A learning algorithm¶

• use pairs of feature vectors and their corresponding labels to induce the values of the mapping function's parameters
• produce the best classifier
• measured by a particular performance metric

binary classification¶

• the classifier must assign instances to one of the two classes

multiclass classification¶

• the classifier must assign one of several labels to each instance

multilabel classification¶

• the classifier must assign a subset of the labels to each instance

Binary classification with logistic regression¶

normal distribution(also known as the Gaussian distribution or bell curve)¶

• ordinary linear regression assumes that the response variable is normally distributed
• Normally distributed data is symmetrical
  • half of the values are greater than the mean and the other half of the values are less than the mean.
• The mean, median, and mode of normally distributed data are also equal
• Many natural phenomena approximately follow normal distributions.
  • Ex) the height of people

Bernoulli distribution¶

• In some problems the response variable is not normally distributed.

  • Ex) a coin toss can result in two outcomes: heads or tails

• The probability distribution of a random variable that can take the positive case with probability P or the negative case with probability 1-P.

• If the response variable represents a probability, it must be constrained to the range {0,1}

• Linear regression assumes that a constant change in the value of an explanatory variable results in a constant change in the value of the response variable, an assumption that does not hold if the value of the response variable represents a probability

• Generalized linear models remove this assumption by relating a linear combination of the explanatory variables to the response variable using a link function

• ordinary linear regression is a special case of the generalized linear model that relates a linear combination of the explanatory variables to a normally distributed response variable using the identity link function

• We can use a different link function to relate a linear combination of the explanatory variables to the response variable that is not normally distributed.

logistic regression¶

• response variable describes the probability that the outcome is the positive case
• If the response variable is equal to or exceeds a discrimination threshold, the positive class is predicted
• otherwise, the negative class is predicted

logistic function¶

• The response variable is modeled as a function of a linear combination of the explanatory variables using the logistic function
• logistic function

$$\sigma(t) = \frac{e^t}{e^t + 1} = {1 \over 1 + e^{-t}}$$

• another form of logistic function
  • t: a linear combination of explanatory variables ($\beta_0 + \beta_1 x$)

$$F(x) = {1 \over 1 + e^{-(\beta_0 + \beta_1 x)}}$$

logit function¶

• inverse of logistic function
• formula

$$g(x) = ln {x \over 1-x}$$ $$g(F(x)) = ln {F(x) \over 1-F(x)} = \beta_0 + \beta_1 x$$

Spam filtering¶

• modern version of the canonical binary classification problem
• classify spam and ham SMS messages
• some predictions using scikit-learn's LogisticRegression class

data set¶

• SMS Spam Classification Data Set from the UCI Machine Learning Repository
  • http://archive.ics.uci.edu/ml/datasets/SMS+Spam+Collection

explore the data set and calculate some basic summary statistics using pandas¶

• A binary label and a text message comprise each row
• 5,574 ham SMS messages
  • 4,827 real ham
  • 747 spam

Preparation of training and test data¶

• load the .csv file using pandas
• split the data set into training and test sets
• train_test_split()
  • assigns 75 percent of the samples to the training set and allocates the remaining 25 percent of the samples to the test set

extract TF-IDF features¶

• TF-IDF: the product of its term frequency and inverse document frequency
• TfidfVectorizer combines CountVectorizer and TfidfTransformer
• fit it with the training messages, and transform both the training and test messages

use LogisticRegression class¶

• create an instance of LogisticRegression and train our model

Binary classification performance metrics¶

metrics¶

• accuracy
• precision, recall
• F1 measure
• ROC AUC score

basis for metrics¶

• concepts of true positives, true negatives, false positives, and false negatives
  • Positive and negative refer to the predicted classes
  • True and false denote whether the predicted class is the same as the true class.
• Ex)
  • a true negative prediction: the classifier correctly predicts that a message is ham.
  • a false positive prediction: A prediction that a ham message is spam
  • a false negative prediction: a spam message incorrectly classified as ham

A confusion matrix(or contingency table)¶

• visualize true and false positives and negative

	Negative	Positive
Negative	TN	FP
Positive	FN	TP

Accuracy¶

• measures a fraction of the classifier's predictions that are correct
• accuracy_score() function
  • calculate the accuracy of a set of predictions given the correct labels

• cross_val_score() function
  • predicts and scores labels for a test set using accuracy
  • accuracy may differ as the training and test sets are assigned randomly.

• measures the overall correctness of the classifier
• does not distinguish between false positive errors and false negative errors.
• 장점
  • 전반적인 예측 정확도 평가 방법.
  • postive 예측율이나 negative 예측율에 대한 편향성이 없다.
• 단점
  • 실제 분류에서 positive와 negative의 비율의 차이가 크면 accuracy가 높아도 의미가 없다. 무조건 비율이 큰 쪽으로만 예측하는 경우 accuracy가 높아지기 때문이다.

Precision and recall¶

• positive와 negative의 가치가 다를 때 accuracy 대신 사용
• Some applications may be more sensitive to false negatives than false positives, or vice versa
  • Ex) To promote customer satisfaction, the credit card company may prefer to risk verifying legitimate transactions than risk ignoring a fraudulent transaction.
  • classifiers are often evaluated using two additional measures called precision and recall.

precision¶

• fraction of positive predictions that are correct
• classifier가 positive라고 분류한 것중에서 실제로 맞는 비율

$$P = {TP \over TP + FP}$$

	Negative	Positive
Negative	TN	FP
Positive	FN	TP

• 장점
  • positive로 예측한 것 중에서 맞춘 비율(혹은, 틀린 비율)이 중요할 때 사용
    • 예) 부작용이 큰 수술을 하기 위한 진단
• 단점
  • positive에 대한 편향성
    • postive 예측율만을 다루고 negative 예측율은 무시한다.
    • positive만 중요힌 경우에 사용
    • negative를 positive로 간주하여 추가 지표로 사용할 수도 있음
  • 보수(conservative) 편향성
    • classifier가 positive임이 확실한 경우에만 positive로 분류하는 보수(conservative) 성향인 경우 precision은 높지만 recall이 낮아진다.
    • 가령, positive임이 아주 확실한 1개만 positive로 분류하고 나머지의 경우 모두 negative로 분류하면 precision은 100%이나 recall은 0에 근접하고 정확도는 떨어진다.

recall¶

• fraction of the truly positive instances that the classifier recognizes
• 실제로 positive인 것 중에서 맞게 분류한 비율
• Sometimes called sensitivity in medical domains

$$R = {TP \over TP + FN}$$

	Negative	Positive
Negative	TN	FP
Positive	FN	TP

• 장점
  • 실제 positive인 것 중에서 맞춘 비율이 중요할 때 사용
    • 예) 수술을 하지 않으면 위험한 질병에 대한 진단
• 단점
  • positive에 대한 편향성
    • positive 예측율만을 다루고 negative 예측율은 무시한다.
    • positive만 중요한 경우에 사용
    • negative를 positive로 간주하여 추가 지표로 사용할 수도 있음
  • 진보(liberal) 편향성
    • classifier가 positive로 많이 분류하는 진보(liberal) 성향인 경우 recall은 높지만 precision은 낮아진다.
    • 가령, 모든 경우에 positive라고 예측하면 recall은 100%이나 precision은 크게 떨어지고 정확도도 떨어진다

cross_val_score() function calculate precision and recall¶

• Our classifier's precision is 0.992
• almost all of the messages that it predicted as spam were actually spam
• Its recall is lower, indicating that it incorrectly classified approximately 22 percent of the spam messages as ham
• Evaluation (DT)
  • 이 spam filter는 precision이 매우 높으나 recall이 낮은 편이다.
  • 즉, spam이 아닌 것을 spam이라고 한 경우는 드물지만(약 1%) spam인데 spam이 아니라고 한 비율(약 30%)이 높은 편이다.

Calculating the F1 measure¶

• also called f-measure, f-score
• harmonic mean, or weighted average, of the precision and recall scores.

$$F1 = \frac{1}{\frac{\frac{1}{P} + \frac{1}{R}}{2}} = 2 \frac{PR}{P+R}$$

	Negative	Positive
Negative	TN	FP
Positive	FN	TP

• $\displaystyle F_\beta = (1 + \beta^2) \frac{PR}{\beta^2 P + R}$
  • F0.5: favor precision over recall
  • F2: favor recall over precision
• penalizes classifiers with imbalanced precision and recall scores
• P와 R이 비슷한 값일 경우 그 값의 평균(즉, P 혹은 R)에 근접한다.
• F1 값은 2 min(P, R)보다 항상 작다.
• F1 값은 P나 R 한 쪽이 다른 한쪽보다 휠씬 더 작은 값일 경우 2 min(P, R)에 근접한다.
• 따라서, F1 값이 큰 값이 되기 위해서는 P와 R이 골고루 커야 한다.
• 총 자원이 제한된 경우 (P + R = c), 최대 조화평균값은 x = y = c/2인 경우이다.
• accuracy가 1인 것, precision과 recall이 동시에 1인 것, F1이 1인 것은 동치이다.
• F1이 크면 accuracy도 높다.
  • TP에 비해 FP와 FN이 모두 작으므로 accuracy가 높다.
• 장점
  • precision, recall 중립성
    • precision과 recall이 모두 중요할 때 사용
    • F1은 precision과 recall이 모두 커야 큰 값이 될 수 있다.
  • accuracy와 달리 실제 positive, negative의 비율의 차가 큰 경우에도 measure가 왜곡되지 않는다.
    • negative가 매우 크고(99%), negative는 모두 맞추고, 실제 positive(1%)중에서 10%만을 맞추고 모두 negative로 예측하면, TN = 99%, FN = 0.9%, TP = 0.1%, FP = 0%. 따라서, accuracy는 0.991, precision은 1, recall은 0.1, F1은 0.182
• 단점
  • positive에 대한 편향성
    • positive 예측율만을 다루고 negative 예측율은 무시한다.
    • positive만 중요한 경우에 사용
    • negative를 positive로 간주하여 추가 지표로 사용할 수도 있음
    • negative가 중요하거나 둘다 중요한 경우, F1은 positive로 편향된다.
      • 실제 negative의 비율이 작은 경우(1%), positive는 모두 맞추고, negative 중에서 10%만 맞춘 경우(즉, TP = 99%, FN = 0%, TN = 0.1%, FP = 0.9%), accuracy는 0.991, precision은 0.991, recall은 1, F1은 0.995
      • negative가 중요한 경우 적절한 평가값인 negative recall은 0.1이다.
• DT Question
  • positive F1과 negative F1의 조화 평균이 필요한 경우는 없는가?"

산술평균과 조화평균¶

• 산술평균
  • $\displaystyle \frac{x + y}{2}$
  • 평균이므로 x, y 둘다 커지거나 어느 한쪽만 커져도 평균은 지속적으로 커진다.
  • 총 자원이 제한된 경우 (x + y = c), 자원을 어떠한 비율의 x와 y로 분배하든 평균은 일정하다.
• 조화평균
  • $\displaystyle \frac{1}{\frac{\frac{1}{x} + \frac{1}{y}}{2}} = 2 \frac{xy}{x+y} = 2 \frac{x}{1+x/y} = 2 \frac{y}{1+y/x}$
  • 대표적인 예: 평균 속력 (시간당 거리 단위를 거리당 시간 단위로 바꿔서 평균한 후 역수를 취하여 시간당 거리, 즉 속력을 구한다.)
  • 평균이므로 x, y 둘다 커지거나 어느 한쪽만 커져도 평균은 지속적으로 커진다.
  • x와 y가 비슷한 값일 경우 그 값의 평균(즉, x 혹은 y)에 근접한다.
  • x나 y 한 쪽이 다른 한쪽보다 휠씬 더 작은 값일 경우 그 작은 값의 2배에 근접한다.
  • x가 커지면 그 값은 2y에 수렴하나 2y보다 항상 작다.
  • y가 커지면 그 값은 2x에 수렴하나 2x보다 항상 작다.
  • 총 자원이 제한된 경우 (x + y = c), 최대 조화평균값은 x = y = c/2인 경우이다.

$$\frac{1}{\frac{\frac{1}{x} + \frac{1}{y}}{2}} = 2 \frac{xy}{x+y} = 2 \frac{x (c-x)}{x + c - x} = \frac{2}{c}(cx - x^2)$$ $$c - 2x = 0$$ $$x = \frac{c}{2}, y = \frac{c}{2}$$

• F1: 0.78
• arithmetic mean: 0.815

ROC AUC¶

• ROC (Receiver Operating Characteristic) curve
  • a graphical plot that illustrates the performance of a binary classifier system as its discrimination threshold is varied
  • plot the classifier's recall(TPR, true positive rate) against its fall-out (FPR, false postive rate)
  • fall-out
  $$F = \frac{FP}{TN + FP} = 1 - \frac{TN}{TN + FP}$$

  - number of false positives divided by the total number of negatives
  - 실제 negative 중에서 틀린 비율
  

• AUC (Area under the ROC curve)
  • reduces the ROC curve to a single value, which represents the expected performance of the classifier.
  • The dashed line is for a classifier that predicts classes randomly

• DT ROC curve
  • ROC curve보다 의미가 더 간결하고 명확하다.
  • Recall: positive 중에서 맞춘 비율
  • Negative Recall: negative 중에서 맞춘 비율
  • 둘다 클수록 좋다.

• 구분 능력이 없는 순수한 random 예측인 경우
  • 대각선은 구분 능력 없이 일정한 확률 p로 positive로 예측하는 경우 reall과 fall-out이 모두 p임을 의미함
• 실제 negative 중에서 틀린 비율과 실제 positive 중에서 맞춘 비율을 분류 기준(logistic regression에 의한 확률의 threshold 값)에 따라 각각 x, y축 좌표로 표시
  • test data에 대하여 logistic regression에 의해 예측한 확률 분포가 동일하더라도 분류 기준에 따라 ROC curve상의 TPR, FPR(fall-out)이 달라짐
    • 보수적(conservative) 기준 (threshold 값이 크다)
      • Postive임이 확실한 경우에만 Positive로 분류하고 나머지는 Negaive로 분류함
    • 진보적(liberal) 기준 (threshold 값이 작다)
      • Postive임이 불확실하지만 가능성이 있어보이면 무조건 Positive로 분류하고 나머지는 Negaive로 분류함
    • 중립적(neutral) 기준 (threshold 값이 적정하다)
      • 적정 확률 수준에서 Positive와 Negative를 분류한다.
• 가능하면 recall은 높되, fall-out은 낮은 값이 좋다. (좌표의 상단 왼쪽편)
• 가장 뛰어난 예측 능력을 가진 classifier의 ROC curve
  • positive data에 대하여 1의 확률로, negative data에 대하여 0의 확률로 예측하는 것이다.
  • 이 경우, ROC Curve는 좌표점 (0,1)이다.
• AUC가 1인 완전 예측 classifier의 ROC curve
  • 특정 확률 p(0.5 등)에 대하여 그 이상의 확률이면 실제 데이터가 positive이고, 그 미만이면 실제 데이터가 negative인 경우이다.
  • threshold가 특정 확률 p보다 점점 크게 하면, fall-out은 0이고, recall은 점점 작아진다. (좌표의 recall 축)
  • threshold가 특정 확률 p보다 점점 작게 하면, recall은 1이고, fall-out은 점점 커진다. (좌표의 상단 수평선)
  • AUC가 1이라는 것은 무조건 완전한 예측(positive와 negative를 모두 완전히 예측)을 한다는 것이 아니라 적정 threshold 값을 찾으면 완전한 예측을 할 수 있음을 의미함.
• 장점
  • positive에 대한 편향성이 없다.
    • positive recall과 negative recall을 동등하게 표시한다.
    • positve와 negative 비율의 차이가 커도 ROC curve는 영향을 받지 않는다. (accuracy, precision, recall, f-measure는 영향을 크게 받을 수 있다)
  • 포괄적 분류 기준
    • 주관적 분류 기준과 관계없이 내부적인 구분 능력(예측된 확률)을 나타낸다.
    • unlike precision and recall, the ROC curve illustrates the classifier's performance for all values of the discrimination threshold
    • 목적에 따라 원하는 수준의 recall과 fall-out 값에 해당하는 threshold 값을 사용할 수도 있다.
• 단점
  • precision, recall 요소를 포함하지 않는다.
  • 특정 threshold 확률에 대하여 완전한 예측이 가능하기만 하면(즉, AUC가 1) 얼마나 더 적정한 확률로 예측했는지를 변별하지는 못한다. 가령 threshold가 0.5인 경우와 0.99인 경우를 구분하지 않는다.

• DT Conclusion
  • 의미상 더 포괄적인 ML metric들이 있으나 다른 ML metrics를 완전히 대신할 수는 없다.
  • 용도에 맞는 metric(accuracy, precision, recall, f-measure, ROC, AUC 등)을 1개 혹은 여러개 선택하여 사용한다.
  • 혹은, 실제 가치를 이들 metric의 function으로 정의하여 사용한다.

Tuning models with grid search¶

• Hyperparameters are parameters of the model that are not learned
• Hyperparameters of the logistic regression SMS classifier
  • the value of the regularization term
  • thresholds used to remove words that appear too frequently or infrequently
  • In scikit-learn, hyperparameters are set through the model's constructor
• Grid search
  • a common method to select the hyperparameter values that produce the best model.
  • an exhaustive search that trains and evaluates a model for each possible combination of the hyperparameter values supplied by the developer
  • Computationally costly for even small sets of hyperparameter values
  • embarrassingly parallel problem
• GridSearchCV() function in scikit-learn

Multi-class classification¶

• scikit-learn uses a strategy called
  • one-vs.-all
    • uses one binary classifier for each of the possible classes
    • The class that is predicted with the greatest confidence is assigned to the instance.
    • LogisticRegression supports multi-class classification using the one-versus-all strategy out of the box.
  • one-vs.-the-rest

Example) classify the sentiments of phrases taken from movie reviews in the Rotten Tomatoes data set¶

• Data Download: http://www.kaggle.com/c/sentiment-analysis-on-movie-reviews/data

• The Sentiment column contains the response variables.
  • 0: the sentiment negative
  • 1: somewhat negative
  • and so on.

Multi-class classification performance metrics¶

• confusion matrices
• Accuracy Precision, recall, and F1 score can be computed for each of the classes

Multi-label classification and problem transformation¶

• two groups of approaches for multi-label classification.

Problem transformation methods¶

• cast the original multi-label problem as a set of single-label classification problems

The first problem transformation method¶

• The multi-label classification problem that had five classes is now a multi-class classification problem with seven classes

The seond problem transformation method¶

• Train one binary classifier for each of the labels in the training set
• Each classifier predicts whether or not the instance belongs to one label.

Multi-label classification performance metrics¶

• Hamming loss

  • average fraction of incorrect labels
  • perfect score is zero
  • accuracy와 유사함

• Jaccard similarity (or the Jaccard index)

  • size of the intersection of the predicted labels and the true labels divided by the size of the union of the predicted and true labels.
  • It ranges from zero to one
  • one is the perfect score.
  • precision과 recall을 합한 후 일반화한 형태

$$J(Predicted, True) = \frac{|Predicted \cap True | }{|Predicted \cup True|}$$