논문3 [ 논문 리뷰 ] AlexNet AlexNet의 구조에 적용된 특징 1. 활성화 함수 ReLU 논문에서 활성화 함수로 ReLU를 적용했습니다. 저자는 tanh와 ReLU의 학습 속도를 비교했습니다. 그 결과 4층의 CNN으로 CIFAR-10을 학습시켰을 때, ReLU가 tanh보다 6배 빠르다고 합니다. 2. GPU parallelization network를 2개의 GPU로 나누어서 학습시켰습니다. 예를들어, 90 개의 kernel이 있다고 하면 45개를 GPU 1에 할당하고 남은 45개를 GPU 2에 할당하여 학습합니다. 추가적인 기법으로 GPU 두 개로 나누어 학습시키다가 -> 하나의 layer에서만 GPU를 통합시키는 것입니다. 논문에서는 3번째 Conv layer에서만 GPU를 통합시킨다고 말합니다. 이를 통해 계산량의 허용가.. 2022. 7. 31. [ 논문 리뷰 ] Unsupervised Visual Representation Learning by Context Prediction 이번 논문은 Unsupervised Visual Representation Learning by Context Prediction 입니다. Context Prediction은 self-supervised learning 이며, image로부터 patch를 추출하여 patch간의 상대적인 위치를 예측하도록 학습합니다. 실제로 이 상대적인 위치를 예측하는 task에 대하여 학습된 ConvNet은 낮은 성능을 나타냅니다. 이 방법으로 embedding을 학습하는데, 이 embedding은 동일한 object이면 가까운 거리, 다른 object인 경우에는 먼 거리를 갖도록 합니다. 이렇게 학습된 ConvNet은 transfer learning을 통하여 랜덤 초기화된 ConvNet보다 상당한 성능향상을 제공합니다.. 2022. 7. 31. [ 논문 리뷰 ] Discriminative unsupervised feature learning with exemplar convolutional neural networks 이번 논문은 Discriminative unsupervised feature learning with exemplar convolutional neural networks 입니다. 원래 CNN으로 image classification task를 위한 모델을 학습시킬 때, labeled iamges가 필요합니다 (supervised learning) 또한 모델의 성능을 보장하기 위해 수많은 양의 labeled images가 필요합니다. 해당 논문에서는 모델 학습을 하기에 큰 걸림돌 중 하나인 data acquistion을 줄이고자, CNN을 unlabeled dataset만 구해도 학습시킬 수 있는 방법을 설명합니다. 논문에서는 self-supervised learning인 Exemplar 방법을 제안합니.. 2022. 7. 31. 이전 1 다음
