0️⃣ Paper

Visualizing and Understanding Convolutional Networks

1️⃣ Architecture Point

• 새로운 시각화 기법 소개

  • 중간의 특정 계층의 기능과 분류기의 작동 방식을 확인할 수 있음
  • 다양한 모델 계층이 성능에 기여하는 정도를 확인하기 위해 절제 연구(Ablation Study) 수행

• Deconvolutional Network(Deconvnet)

  • Feature Map에서 특정 활성화를 유발한 원래의 입력 패턴을 볼 수 있도록 함.

  • Convolutional Network와 동일한 구성 요소(Filtering, Pooling)를 사용하지만 반대 방향으로 작동함

  • 입력 이미지를 Convnet에 제공 → 모든 계층에서 특징이 계산됨

  • 특정 Convnet 활성화를 분석하려면 해당 계층에서 다른 모든 활성화 함수를 0으로 설정 → 해당 Feature Map을 연결된 Deconvnet에 연결

    • 다음 연속적으로 Unpool → Rectify → Filter 작업을 수행

• Unpooling → Rectification → Filtering → Projection

  1. Unpooling
     • Convnet에서의 Max Pooling → 비가역적(Non-invertible)이나, 각 Pooling 영역에서 최대값의 위치를 기록한 switch 변수를 사용하여 대략적인 역연산 수행 가능
     • Deconvnet에서는 Unpooling 연산 시 switch 변수를 활용 → 상위 계층에서 재구성된 값을 적절한 위치에 배치하여 구조를 보존함
  2. Rectification(정류화)
     • Convnet은 ReLU를 사용하여 Feature Map을 정류(Rectify)하여 항상 양수 값을 유지함
     • 각 계층에서 유효한 특징 재구성을 얻기 위하여 재구성된 신호도 ReLU를 거치도록 함
  3. Filtering
     • Deconvnet에서는 같은 필터를 전치(Transposed)하여 Convolution 연산을 반대로 수행함
     • 하위 계층의 출력이 아닌 정류화된 맵에 적용하며, 각 필터를 수직 및 수평으로 뒤집는 작업을 포함함
  4. Projection(상위 계층에서의 투영)
     • 상위 계층에서 입력 픽셀로 투영할 때, Convnet의 Max Pooling 과정에서 생성된 switch 설정을 사용함
     • switch 설정은 특정 입력 이미지에 고유함
     • 단일 활성화에서 얻은 재구성은 원래 입력 이미지의 작은 부분과 비슷하게 나타내며, 활성화에 기여한 부분을 가중치로 보여줌
     • 모델이 판별적으로 학습되었기에, 입력 이미지 중에서 어떤 부분이 판별적인지 암묵적으로 드러남

2️⃣ ZFNet Architecture Visualization

• Convnet and Deconvnet

  

• Convolution Layer Architecture

  

3️⃣ Architecture Summary

4️⃣ Implement Code

• Not Implement Visualization

  BuildCNN-PyTorch/06A_ZFNet.ipynb at main · CodeSensory/BuildCNN-PyTorch