05. Logistic Regression Classification

review

 

Linear Regression의 Hypothesis, Cost, Gradient decent 입니다.

 

 

---

 

[ Logistic Regression Classification ]

Logistic Regression Classification은 classification 알고리즘 중에서 굉장히 정확도가 높은 알고리즘입니다.

 

상황을 몇 시간 동안 공부하면 합격한다/ 떨어진다 두 가지 결과를 가지고 예측해보겠습니다.

즉 0, 1을 예측하는 binary classification 모델입니다. 

 

[ Logistic Hypothesis ]

결과 값을 0 ~ 1 사이로 압축시켜주는 함수가 있었으면 좋겠다고 생각하였고, sigmoid 함수를 발견했습니다.

아래 그래프는 가로가 z값이고, 세로는 g(z) 입니다.

z가 커지면 결과값이 1에 가까이 가고, 작아지면 0에 가까이 가는 특징이 있습니다.

 

 

최종적으로 hypothesis는 다음과 같습니다.

 

 

[ Cost Function ]

Linear Regression 과 Logistic Regression Classification 의 Hypothesis가 달라졌습니다. 

Linear Regression에서 사용한 Cost Function을 사용해보겠습니다.

 

다음은 기존 Cost Function을 이용한 Linear, Logistic 결과 입니다.

오른쪽 그래프는 Logistic 의 H(X)를 넣은 그래프 입니다. 

sigmoid 함수를 사용했기 때문에 왼쪽과 달리 울퉁불퉁한 모습을 확인할 수 있습니다. 

해당 그래프는 시작점에 따라 끝나는 점이 달라질 수 있으며, 학습이 중간에 멈춰버리면 모델이 굉장히 나쁘게 예측하게 됩니다.

 

따라서 Linear에서 사용한 Cost Function 은 사용할 수 없습니다.

 

 

 

아래는 Logistic 의 새로운 Cost Function 입니다.

 

 

[ Gradient Descent Algorithm ]

Logistic 의 Cost Function을 새롭게 구했습니다.

다음으로 Cost를 최소화해줍니다. 

함수의 기울기를 구해 경사를 타고 내려가야 하므로 미분을 해줘야 합니다.

(그냥 이런 알고리즘을 사용한다는 것을 알고 있으면 됩니다. 컴퓨터가 알아서 해주기 때문입니다 !