Min-Max Normalization1 Batch Normalization and Dropout [ Batch Normalization (배치 정규화) ] 01) batch란 전체 데이터 내에서 모델 학습 한 번에 적용하기 위해 뽑아낸 데이터의 일부를 의미합니다. 데이터셋의 크기가 일반적으로 매우 크기 때문에 이를 한번에 모델에 적용할 수 없습니다. 전체 데이터를 사용하여 동작하는 gradient descent 알고리즘을 쉽게 적용할 수 없게 되었습니다. 따라서 데이터셋을 배치로 나누고 각 배치마다 gradient를 계산하여 학습하는 Stochastic Gradient Descent = SGD가 등장하게 되었습니다. 02 ) Normalization 이란 입력하는 데이터가 가지는 feature들의 값을 모두 같은 범위 내로 변경하는 작업을 말합니다. 대부분의 데이터는 각 feature 별로 값의 크.. 2022. 7. 13. 이전 1 다음
