1️⃣ Down Sampling

• Sample의 개수를 줄이는 처리 과정
• Encoding할 때 개수를 줄이는 처리 과정

1. Convolution → Down Sampling의 한 종류

   • 학습 과정을 거치기에 보다 효과적인 Down Sampling 가능
   • Receptive Field(수용 범위)를 크게 하기가 어려움
     • Receptive Field
       • CNN에서 Output Layer의 뉴런 하나에 영향을 미치는 Input Layer의 공간 크기
       • 뉴런이 보고 처리하는 Input Image 영역
       • Receptive Field를 크게 하면 Trainable Parameter가 무수히 늘어남
   • Receptive Field 단점을 보완하여 Dilated (Atrous) Convolution 사용
     • Dilated (Atrous) Convolution
       • Filter → 일반적인 Convolution Filter 사이에 빈 공간을 넣어서 구멍이 뚫려 있는 듯한 구조를 가짐
       • 기존 Convolution과 동일한 양의 파라미터와 계산량을 유지, Receptive Field 커짐

2. Depth-wise Convolution

   • 일반적인 Convolution → 특정 채널만의 Spatial Feature 추출이 불가능

   • Depthwise Convolution은 Channel마다 Spatial Feature를 추출 → 각 Channel마다 Filter가 존재

     • Input Channel 수와 Output Channel 수가 같음

   • Parameter, 연산량

     • $W$: Input/Output Width, $H$: Input/Output Height, $C$: Input Channel, $M$: Output Channel, $K$: Kernel Size
     • Standard Convolution
       • 1개의 Feature Map: $K \times K \times C$
       • $M$개의 Feature Map: $K \times K \times C \times M$
       • 연산량: $K \times K \times C \times M \times H \times W$
     • Depthwise Convolution
       • 1개의 Feature Map: $K \times K$
       • $C(=M)$개의 Feature Map: $K \times K \times C$
       • 연산량: $K \times K \times C \times H \times W$

3. Depth-wise Separable Convolution

   • Depthwise Separable Convolution → Depthwise Convolution + Pointwise Convolution($1 \times 1$ Convolution)

   • 기존 Convolution Filter가 Spatial Dimension과 Channel Dimension을 동시에 처리하던 것을 따로 분리하여 각각 처리하는 방법

   • 두 축을 분리하여 처리해도 최종 결과는 두 축 모두를 처리한 것이기에, 기존 Convolution 역할 대체 가능

   • Parameter, 연산량

     • Depthwise Seperable Convolution
       • $C(=M)$개의 Feature Map: $K \times K \times C + C \times M = C(K^2+M)$
       • 연산량: $K \times K \times C \times H \times W + C \times M \times H \times W = CHW(K^2+M)$

2️⃣ Up Sampling

• Down Sampling의 반대 → Decoding시 복원하기 위해 Data의 크기를 늘리는 처리 과정

1. Unpooling

   • Max Pooling을 거꾸로 재현
   • 주변 픽셀들을 동일한 값으로 채우거나(Nearest Neighbor Unpooling), 0으로 채워주는 방식(Bed of NailsUnpooling)

2. Max Unpooling

   • Unpooling 방식은 원래의 Max Pool된 값의 위치를 알 수 없음
   • Max Pooling할 때의 선택된 값들의 위치를 기억하여 원래 자료의 동일한 위치에 Max 값을 위치하도록 함

3. Deconvolution

   • Convolution의 역연산 → Inversed Matrix 이용
   • $f$: Filter(Kernel), $*$: Convolution Calculation, $i$: Input, $o$: Output
     • Convolution Calculation → $f * i = o$
     • Deconvolution Calculation → $inverse \; matrix \; of \; f * i = o$
       • Deconvolution은 $f$, $i$, $o$ 값을 모두 다알고 있어야 함