Abstract

OCR → 글씨 읽어오기

CNN → 색상, 형태 판단

LLM → 도출된 결과로 추론

1️⃣ 접근법

• Convolutional Neural Network를 통해 얻고자 하는 정보: Color, Shape

• Color

  • Convolution Filter를 사용하지만, 공간 벡터의 정보는 제외하고 오로지 색상의 정보를 얻을 수 있도록 구현하기
    • 색상은 약학정보원에서 제공하는 기준을 학습하도록 하여, 판단하도록 한다.
      • 하양, 노랑, 주황, 분홍, 빨강, 갈색, 연두, 초록, 청록, 파랑, 남색, 자주, 보라, 회색, 검정(, 투명)

• Shape

  • Edge Filter를 사용하여, 형태의 정보를 주로 하여 정보를 얻을 수 있도록 구현하기
    • 형태 역시 약학정보원에서 제공하는 기준을 학습하도록 하여 판단하도록 한다.
      • 원형, 타원형, 장방형, 반원형, 삼각형, 사각형, 마름모형, 오각형, 육각형, 팔각형

• OCR

  • 의약품 내 적혀 있는 글씨를 읽어오기

2️⃣ 데이터 세트 구축

• Color

  • 각 색상 별 101장씩

    • Original Image: 1

    • Alpha Image: 50

      • 이미지의 RGBA 값 중, A에 해당하는 투명도(Alpha) 값을 조절하여 색상 조절

    • Blending Image: 50

      • 이미지를 특정 색상과 조합하는 비율을 조절하여 색상 조절

    • Alpha, Blending 방법은 255 → 0 값 중에서 단계를 고정하여 나눈 후, 값이 동일하게 변화하며 색상이 변화되도록 구현함

      • 초기 데이터 세트 구성 시에는 55단계로 고정하였으며, 1번부터 50번까지의 이미지만을 사용함

  • 이미지 사이즈는 224px x 224px

• Shape

3️⃣ Model