Chapter 1: The Fundamentals of Machine Learning¶
In [1]:
from IPython.display import Image
- applications of machine learning algorithms
- the supervised-unsupervised learning spectrum
- uses of training and testing data, and model evaluation.
- scikit-learn
** new knowledge and skills through experience**
- discover new music that we enjoy
- quickly find the exact shoes we want to purchase online
- 뭘 잘 알아봐야되는 분야들.. 사람얼굴, 나쁜짓, 스팸메일, 백수오 진품?
In [9]:
Image(filename='natural_before.png')
Out[9]:
In [11]:
Image(filename='natural_stock.png')
Out[11]:
In [10]:
Image(filename='natural_after.png')
Out[10]:
In [5]:
Image(filename='100soo5.png')
Out[5]:
In [12]:
Image(filename='gm_100soo5.png')
Out[12]:
In [7]:
Image(filename='dog_training.jpg')
Out[7]:
In [8]:
Image(filename='dog_recog.jpg')
Out[8]:
머신러닝! 이미지트레이닝! 인식!¶
용어들
- response variable : 예측 모델에서 나오는 데이터
- features :
- explanatory variables : 예측 모델에 넣는 데이터
- training set : 머신러닝의 재료가 되는 데이터, 결과로 예측 모델이 나옴
- test set : 예측 모델을 평가할 때 사용하는 데이터
The response variables of the supervised learning
- classification : 항목분류; 값이 오를까 내릴까?, 정치면이냐 경제면이냐?
- regression : 값의예측; 값이 얼마일까?
In [2]:
Image(filename='plot_ML_flow_chart_1.png')
Out[2]:
** Unsupervised learning**
- clustering : 비슷한것 끼리 묶습니다.
- Dimensionality reduction : explanatory variables 을 줄여봅니다. response variable 에 영향을 크게 미치는 것들만 남겨봅니다. explanatory variable 이 너무 많은 경우 시각화를 가능하게 해줍니다.
In [3]:
Image(filename='plot_ML_flow_chart_3.png')
Out[3]:
** Training and test set**
- 트레이닝에 썻던건 테스트에 쓰지 않습니다.
- over-fitting, under-fitting : 머신러닝 알고리즘이 트레이닝 데이터셋을 "memorizied" 함, 목표는 "generalized" 해야함. 데이터의 노이즈 까지 반영된 예측 모델을 만들게 되서 새로운 explanatory variable 을 집어넣으면 엉뚱 대답을 함 (엉뚱한 response variable)
- validation or hold-out set : 머신 러닝 알고리즘의 파라메터를 설정하는 데이터셋? 트레이닝 셋으로 또 쓰면 안됨.
- 보통 트레이닝셋:50퍼센트, 테스트셋:25퍼센트, 남는것을 validation set으로 사용 (경우에 따라 다르다고 합니다)
"garbage in, garbage out." : 엉망인 '빅데이터'로 트레이닝하지말자!¶
cross-validation
- 데이터가 얼마 없을때, 특히 생물데이터! 예측모델의 validation을 위해서 explanatory variable 을 몇개로 뽀개봅니다.
In [14]:
Image(filename='cv.png')
Out[14]:
** Performance measures; prediction errors: bias, andvariance ** 어떤 데이터 집단을 잘 대표하는 트레이닝 데이터가 여러개 있다고 가정합니다.
- bias : 여러개의 트레이닝 데이터를 써서 여러개의 모델을 만들었을때 각 모델이 똑같이 인풋값에 대해서 현실에 비해 편파된 결과를 제시함.
- variance : 여러개의 트레이닝 데이터를 써서 여러개의 모델을 만들었을때 각 모델이 인풋값에 대해서 다른 결과를 제시함
In [15]:
Image(filename='pt.png')
Out[15]:
bias-variance trade-off : 둘다 좋게 만들기는 힘들다 하네요.
| Prediction | Input | Call |
|---|---|---|
| true positive (TP) | 아버지를 | 아버지라 부름 |
| false positive (FP) | 어머니를 | 아버지라 부름 |
| true negative (TN) | 어머니를 | 아버지가 아니라 부름 |
| false negative (FN) | 아버지를 | 아버지가 아니라 부름 |
어머니를 아버지라고 불렀을때, 아버지를 아버지가 아니라고 불렀을때 얻어맞는 강도가 다를 수 있습니다. -> Cost
종양판별시 더 큰 문제, 악성 종양을 악성 종양이 아니라고 했다면 사람 목숨이 왔다갔다하는 Cost
Accuracy : 예측값들이 참인 비율 ACC=(TP+TN)/(TP+TN+FP+FN)
Precision : 악성 종양이라고 예측한 것 중 실제로 악성종양인 경우의 비율
P=TP/(TP+FP)
Recall : 실제 악성종양인 경우 중 악성 종양이라고 예측해낸 경우의 비율
R=TP/(TP+FN)
An introduction to scikit-learn¶
- one of the most popular open source machine learning libraries for Python
- 교재에서 이걸 많이 쓸 것 같습니다.
In [16]:
import sklearn
In [17]:
sklearn.__version__
Out[17]:
'0.15.2'