01. Loss Function (Cost Function)

Loss Function은 Model이 얼마나 훈련 data를 잘 설명하는지 판단하는 것입니다.

 

[ Gradient Descent ]

기울기를 이용하여 최소가 되는 값을 찾는 것입니다.

[ MSE (mean square error = 평균 제곱 오차) ]

 

[ Cross Entropy Loss ]

Classification이라는 것이 위와 다른 차이점입니다. 또한 y는 범주형 이산적인 값을 갖습니다.
분류 모델이 얼마나 잘 학습했는지 측정하기 위해 사용되는 지표입니다.

loss는 0 ~ 1 사이의 숫자로 측정되며, 확률분포와 예측 분포 사이의 차이를 측정합니다.
세 가지 이상의 분류 가능성이 있는 모델에서 cross entropy loss 가 자주 사용됩니다.

 

1. binary crossentropy

• Binary Classification 즉 class가 2 개인 이진 분류 문제에서 사용합니다.
• label 이 0 또는 1을 값으로 가질 때 사용합니다. 
• 모델의 마지막 layer의 activation function은 sigmoid 함수입니다. 

 

 

2. categorical crossentropy

 

• Multi-class Classification 즉 class가 여러 개인 다중 분류 문제에서 사용합니다.
• label이 one-hot encoding이 된 형태입니다.
  • 예를들어 3-class Classification 문제에서는 label이 1, 2, 3 이 존재하게 되는데 이때 각 label 값이 one-hot encoding 되어 표현됩니다.
  • 1 -> [ 1, 0, 0 ] 
  • 2 -> [ 0, 1, 0 ]
  • 3 -> [ 0, 0, 1 ]
• 모델의 마지막 layer의 activation function은 softmax 함수입니다. 

 

3. sparse categorical crossentropy

 

• Multi-class Classification 즉 class가 여러 개인 다중 분류 문제에서 사용합니다.
• label 이 0, 1, 2, 3, 4와 같이 정수의 형태로 제공될 때 사용됩니다. (one-hot encoding이 아님!! )
• 모델의 마지막 layer의 activation function은 softmax 함수입니다.