0️⃣ Paper and Reference

• Paper

  Fully Convolutional Networks for Semantic Segmentation

• Reference

  1) FCN

1️⃣ Architecture Point(Base on Reference$^1$)

• Image Classification

  1. 이미지 내의 모든 Pixel에서 Feature 추출(Extraction)
  2. 추출한 Feature들을 분류기(Classifier)에 넣음
  3. Input Image(Total)의 Class를 예측하는 구조
  • Image(Total)의 Class를 예측하는 것이 아닌, 이미지를 이루는 모든 픽셀들의 Class를 예측하는 문제

• FCN

  • 기존 이미지 분류에서 쓰인 네트워크를 학습된 상태(Pre-Train)에서 Feature Extraction Layer는 그대로 재활용 → Feature 추출
  • FC Layer를 버리고 1 x 1 Convolution, Up-Sampling(Transpose Convolution)로 변경(Fine-Tuning)
    • Pixel Class 분류와 Input Image와 같은 사이즈로 회복되도록 네트워크가 구성됨
  1. Convolution Layer를 통하여 Feature 추출
  2. 1 x 1 Convolution을 이용하여 Feature Map의 채널 수를 Dataset 객체의 개수와 동일하게 변경
     • Class Presence Heat Map 추출
  3. Up-Sampling한 뒤, Input Image와 같은 크기의 Map 생성
  4. 최종 Feature Map과 Label Feature Map의 차이를 이용하여 네트워크 학습