[ Chapter.04 ] 수치 미분

1. 미분

미분은 특정 순간의 변화량을 의미합니다.  

 

2. 수치미분의 예

 

3. 편미분

함수를 구성하는 모든 변수의 편미분을 벡터로 나타낸 것을 gradient라고 합니다. 

 

4. 기울기

정답이 되도록 w를 찾고자합니다.

그러기 위해서는 loss가 정의 되어야 하고, loss를 모든 w에 대하여 편미분 해줍니다.

 

01) 경사법(경사 하강법)

경사법은 현 위치에서 기울어진 방향으로 일정 거리만큼 이동합니다. 이동하면서 함수의 값을 점차 줄이는 것을 경사법이라고 합니다. 

학습률은 한 번의 학습으로 얼마만큼 학습해야 할지, 즉 매개변수 값을 얼마나 갱신하느냐를 정하는 것입니다. 

learning rate가 큰 경우 발산하고, 작은 경우는 거의 변화가 없기 때문에 잘 설정해줘야 합니다.

02) 신경망에서의 기울기