0️⃣ Paper

ImageNet Classification with Deep Convolutional Neural Networks

1️⃣ Architecture Point

• 가중치를 가지는 8개의 층으로 구성됨

  • 1~5 Layer: Convolution Layer
  • 6~8 Layer: Fully-Connected Layer
  • Output Layer: 1000개 Class lables 분류를 위하여 Softmax 함수에 입력됨

• 다항 로지스틱 회귀(Multinomial Logistic Regression) 목표를 최대화함

  • 예측 분포에서 정답 레이블의 로그 확률에 대해 모든 학습 사례의 평균을 최대화하는 것과 같음

• Fully-Connected Layer

  • 해당 층의 뉴런은 이전 층의 모든 뉴런과 연결됨

• Response-Normalization Layer

  • 첫 번째, 두 번째 Convolutional Layer 뒤에 배치됨

• Max-Pooling Layer

  • 각 Response-Normalization Layer 뒤에, 다섯 번째 Convolutional Layer 뒤에 배치됨

• Activation Function: ReLU

  • 모든 Convolutional Layer, Fully-Connected Layer에 적용됨

• Layer

  • 1층 - Convolutional Layer
    • Input Size: 224 x 224 x 3
    • Kernel Size: 11 x 11 x 3, 96 Kernel
    • Stride = 4
  • 2층 - Convolutional Layer
    • Kernel Size: 5 x 5 x 48, 256 Kernel
  • 3층 - Convolutional Layer
    • Kernel Size: 3 x 3 x 256, 384 Kernel
  • 4층 - Convolutional Layer
    • Kernel Size: 3 x 3 x 192, 384 Kernel
  • 5층 - Convolutional Layer
    • Kernel Size: 3 x 3 x 192, 256 Kernel
  • 6~8층 - Fully-Connected Layer
    • 4096 Neurons each

2️⃣ Corrected

• Input Size
  • 224 x 224 x 3 → 227 x 227 x 3

3️⃣ AlexNet Architecture Visualization