0️⃣ Paper

MobileNets: Efficient Convolutional Neural Networks for Mobile...

1️⃣ Architecture Point

• Depthwise Separable Convolutions 기반

  • Standard Convolution → Depthwise Convolution + 1 x 1 Convolution(Pointwise Convolution)

  • Depthwise Convolution: 각 입력 채널에 대해 단일 필터를 적용

  • Pointwise Convoluiton: 1 x 1 Convolution을 사용하여 Depthwise Convoluiton의 출력을 결합

  • Standard Convolution: 필터링, 결합을 한 단계에서 수행함

  • Depthwise Separable Convolution: 필터링 전용 레이어와 결합 전용 레이어로 분리함

    • 연산량과 모델 크기를 대폭 줄이는 효과를 가짐

• 네트워크를 적은 Mult-Adds(연산량)으로 정의하는 것만으로는 충분하지 않음

  • 거의 모든 연산을 조밀한 1 x 1 Convolution으로 집중시킴 → 고도로 최적화된 일반 행렬 곱(GEMM) 함수로 구현
  • Convolution은 일반적으로 GEMM으로 구현되나 메모리 재정렬(im2col)이 필요함
  • 1 x 1 Convolution은 메모리 재정렬이 필요없으며, 직접 GEMM으로 구현할 수 있음

2️⃣ MobileNet Architecture Visualization

3️⃣ Architecture Summary

• Separable Convolution
  • Stride → Depthwise Convolution
  • Filter → Pointwise Convolution

4️⃣ Implement Code

BuildCNN-PyTorch/09A_MobileNet.ipynb at main · CodeSensory/BuildCNN-PyTorch

5️⃣ Result