1️⃣ Transfer Learning

• 이미 학습되어 있는 Convoluitonal Neural Network(CNN)을 가져와서 분석하고자 하는 데이터에 맞도록 Fine-Tuning(미세 조정)하여 사용

  • 맨 밑바닥부터 학습 시키는 것에 비하여 소요 시간이 획기적으로 줄어들음

• Deep Learning Model

  • 모델의 초기 층에 가까운 층 → 일반적인(General) 특징을 추출하도록 하는 학습이 이루어짐
  • 모델의 마지막 층에 가까운 층 → 특정 Dataset 또는 특정 문제에서만 나타날 수 있는 구체적인(Specific) 특징을 추출하도록 하는 고도화된 학습이 이루어짐

• Example

  • 초기 층 → 모서리나 경계, 곡선 등을 검출하는 층
    • 다른 Dataset의 이미지들을 학습할 때도 재사용될 수 있음
  • 마지막 층 → 각 Label의 세세한 특성을 추출하는 층
    • 새로운 문제를 맞이할 때마다 새로운 학습이 필요함

2️⃣ Fine Tuning 고려할 점

• 기존에 학습된 Layer에 데이터를 추가로 학습하도록 해서 파라미터를 업데이트 해야 함
• 주의할 점은 Pre-Trained CNN이 학습한 데이터와 새롭게 학습 시키고자 하는 데이터가 얼마나 유사한지, 양은 얼마인지에 따라 Fine-Tuning 영역 및 정도가 달라짐

1. 새로 훈련할 데이터가 적지만, Original Data와의 유사도가 높을 경우
   • 데이터의 양이 적어, 전체 네트워크를 Fine Tuning 하는 것은 Over Fitting의 위험이 있기에 하지 않음
   • 새로 학습할 데이터는 Original Data와 유사하기 때문에 최종 Classifier Layer만 학습해도 잘 작동함
2. 새로 훈련할 데이터가 적으며, Original Data와의 유사도가 낮을 경우
   • 데이터의 양이 적고 데이터가 서로 다르기 때문에, 네트워크의 마지막 Classifier Layer만 학습하는 것은 좋지 않음
   • 네트워크 초기 부분의 특정 Layer를 학습시키는 것이 좋음
3. 새로 훈련할 데이터가 많으며, Original Data와의 유사도가 높을 경우
   • 새로 학습할 데이터의 양이 많음 = Over Fitting 위험이 낮음
     • 전체 Layer 또는 마지막 몇 개의 Layer를 Fine Tuning
     • 마지막 몇 개의 Layer를 날려버림
4. 새로 훈련할 데이터가 많지만, Original Data와의 유사도가 낮을 경우
   • 데이터가 많기 때문에, 아예 새로운 Convolution Network를 만들어도 됨(Transfer Learning 효율이 더 좋음)
   • 전체 네트워크를 Fine Tuning