0️⃣ Base on Paper

Learning Deep Features for Discriminative Localization

1️⃣ CAM

• General Convoluitonal Neural Network

  • Input - Convolutional Layers - Fully Connected Layers

• CNN의 마지막 레이어를 FC-Layer로 Flatten → 각 픽셀들의 위치 정보를 잃게 됨

  • Classification의 정확도가 아무리 높더라도, 해당 CNN이 무엇을 보고 특정 Class로 분류했는지 알 수 없었음

• FC Layer 대신에, GAP(Global Average Pooling)을 적용

  • 특정 클래스 이미지의 Heat Map을 생성할 수 있음
  • Heat Map을 통하여 CNN이 어떻게 그 이미지를 특정 클래스로 예측했는지를 이해할 수 있다고 주장함

• CAM의 결과

  

• CAM의 작동 이유

  • 마지막 Convolution Layer를 통과한 Feature Map → Input Image의 전체 내용을 함축하고 있기 때문
  • 마지막 Feature Map이 아닌 중간에 위치한 Feature Map에서는 CAM을 통해 Heat Map을 추출할 수 없음

2️⃣ GAP

• Architecture

  

• GAP Layer

  • 각각의 Feature Map마다 Gloval Average Pooling(각 Feature Map에 포함된 모든 원소 값을 평균함)을 시행

  • 결과 → GAP Layer로 들어오는 Feature Map의 Channel 수와 동일한 길이의 벡터를 얻음

  • GAP Layer 이후 FC Layer가 붙어 있음 → GAP에서 출력한 벡터를 Input으로 넘겨줌

  • 각 FC Layer의 가중치는 학습을 통해 구함

• Example

  

3️⃣ Grad-CAM