[ Chapter.05 ] 계산 그래프 / 연쇄 법칙

 Backpropogation은 편미분을 구하는 방법을 제시하는 것입니다. 

신경망의 손실함수를 각 매개변수로 편미분한 값을 구하는 방법으로 수치미분보다 계산 효율적인 방법입니다. 

 

# 계산 그래프

1. 계산 그래프로 풀다 

계산 그래프는 왼쪽에서 오른쪽으로 계산을 진행합니다. 

이를 순전파 forward propogation 이라고 합니다. 

 

오른쪽에서 왼쪽으로 가는 반대 방향의 전파를 backward propogation라고 합니다. 

역전파는 이후에 미분을 계산할 때 중요한 역할을 합니다. 

 

 

2. 국소적 계산 

계산 그래프의 특징은 국소적 계산을 전파함으로써 최종 결과를 얻는 것입니다. 

국소적이란 자신과 직접 관계된 작은 범위를 의미합니다. 즉, 전체를 보지 않고 자신과 관계된 정보만으로 결과를 출력한다는 것입니다.

3. 왜 계산 그래프로 푸는가? 

 

편미분을 효율적으로 계산할 수 있다는 장점이 큽니다. 

 

이 전파는 국소적 미분값을 전달합니다. 이때 국소적 미분값을  계산할 때 다른 값들을 신경쓸 필요 없기에 좋습니다.

 

 

# 연쇄 법칙

1. 계산 그래프의 역전파 

 

국소적 미분을 계속 곱해줍니다. 

 

2. 연쇄법칙이란?