밑바닥부터 시작하는 딥러닝2 [ Chapter.04 ] 손실 함수 신경망 학습에서 현재의 상태를 하나의 지표로 표현합니다. 이때 하나의 지표를 손실 함수라고 합니다. (손실 함수는 신경망 성능의 '나쁨'을 나타냅니다.) 이 지표를 가장 좋게 만들어주는 가중치 매개변수의 값을 탐색하는것이 목표입니다. 일반적으로 오차제곱합 or 교차 엔트로피 오차를 사용합니다. 01. 오차제곱합 신경망 출력 y는 softmax 함수의 출력입니다. 따라서 y는 확률로 해석할 수 있습니다. t는 one-hot encoding된 정답 label 입니다. 02. 교차 엔트로피 오차 t가 one-hot encoding된 값이기 때문에, 실질적으로 정답일때의 자연로그를 계산하는 것입니다. 즉, 교차 엔트로피 오차는 정답일 떄의 출력이 전체 값을 결정합니다. 03. 미니배치 학습 batch_size마.. 2022. 7. 31. [ Chapter.02 ] 퍼셉트론 01. 퍼셉트론이란? 퍼셉트론은 다수의 신호를 입력으로 받아 하나의 신호를 출력합니다. 퍼셉트론 신호는 흐른다 / 안흐른다 두 가지 값을 가질 수 있습니다. 가중치란? 각 신호가 결과에 주는 영향력을 조절하는 요소입니다. 신호의 영향력을 제어합니다. 가중치가 클수록, 해당 신호가 중요하다는것을 의미합니다. 편향이란? 뉴런이 얼마나 쉽게 활성화 (결과로 1을 출력) 하느냐를 조정하는 매개변수 입니다. b = -1.0 이면 입력신호가중치의 합 > 0.1 이면 뉴런이 활성화합니다. b = -20.0 이면 입력신호가중치의 합 < 20.0 이면 뉴런이 활성화하지 않습니다. 편향의 입력신호는 항상 1 입니다. 아래 그림을 살펴보겠습니다. 원을 뉴런 or 노드 라고 부릅니다. 현재 2개의 입력신호가 있습니다. 퍼셉트.. 2022. 6. 28. 이전 1 다음
