Semantically Invariant Transformation (중요한 부분은 보존하는 선에서 최대한 Augmentation 하는 것이 좋음을 의미함)

0️⃣ Base on Paper

A survey on Image Data Augmentation for Deep Learning - Journal of Big Data

1️⃣ Basic Image Manipulation

• Geometric Transformation

  • 기존의 이미지를 Crop, Rotate, Contrast, Invert, Flip하여 새로운 이미지를 만들어냄

• Color Space Transformation

  • 기존 이미지의 RGB 값을 조정하여 새로운 이미지를 만들어냄

• Mixing Images

  • 두 Image를 0~1 사이의 $\lambda$ 값을 통하여 Weighted Linear Interpolation 하는 기법

  • Label도 $\lambda$ 값에 비례하여 지정함

  • where $\lambda \in [0, 1]$ is a random number

    $\hat{x} = \lambda x_i + (1-\lambda )x_j$, $\hat{y} = \lambda y_i + (1-\lambda)y_i$

  • Example

    

• Random Erasing

  • 이미지의 랜덤한 영역을 지워서 새로운 이미지를 만들어냄

• Kernel Filters

  • Kernel Filters: 이미지를 선명하게 하거나 흐리게 하는데 널리 사용되는 이미지 처리 기술
  • 가우시안 블러 필터를 사용하여 더 흐릿한 이미지를 만들어냄
    • 테스트 시 모션 블러에 대한 저항력을 높이는데 도움이 됨
  • 고대비 수직 또는 수평 Edge 필터를 사용하면 가장자리 부분이 더 선명해진 이미지를 만들어냄
    • 관심 대상 객체에 대한 더 많은 세부 정보를 포착하는 데 기여할 수 있음

• Basic Image Manipulation 조합

  • CutMix → Mixing Images + Random Erasing

    

  • PuzzleMix → Update CutMix

    

2️⃣ Deep Learning Approach

• Adversarial Training
  • Adversarial Attack이란 DNN이 잘못된 결과를 산출하도록 의도적으로 조작한 입력값(Adversarial Example)을 생성하여 Training Model에 제시하는 방법
• GAN Data Augmentation
  • GAN(Generative Adversarial Networks) 모델을 이용하여 기존 데이터와 유사한 샘플을 생성하여 데이터 수를 늘림
• Neural Style Transfer

  • CNN(Convolutional Neural Network)에서 생성된 이미지 표현을 조작하는 것

  • Example