👩‍💻 기여 : 모델링 아이디어 설계 및 모델링 (2명)

👩‍💻 역할 : AI Engineer

👩‍💻 기간 : 약 3주

• 리서치 (2021.07.07 ~ 07.13)
• 모델링 (2021.07.19 ~ 07.26)
• 1차 발표 및 피드백 (2021.08.05 ~ 08.12)
• 장고 페이지 제작 (2021.08.18 ~ 2021.08.28)
• 보완 (2021.09.15 ~ 09.22)
• 2차 발표 및 피드백 (2021.10.05 ~ 10.15)
  
  

💻 학습 : AWS EC2, Colab, Atom

💻 코드 : 모델링, 함수

💻 발표자료 : 1차 발표, 2차 발표

Problem & Solving

(생략) 정규표현식 이렇게 개선했습니다

(생략) 모델은 2가지를 설계하고 다중분류를 선택했습니다

라벨 개수 : 4개

라벨 종류 : 날짜 / 품목 / 위치 / 가격

라벨링 방식 : 바로 분류하지 않고, 2단계 분류 방식을 통해 정확한 라벨에 배정될 확률을 높임

• 1단계 👉 각 라벨 당 최고 확률 문장을 추출

  

• 2단계 👉 추출된 문장에서 핵심 단어만 sorting

  

핵심 모듈

• KoBERT

• KSS : 같은 턴 내의 문장을 재분리, ‘안녕하세요’와 같은 문장을 제거하여 핵심어 추출 범위를 보다 정확하게 함

• Komoran : 사용자 명사 사전을 추가하여 명사 태깅
  
  

라벨링을 위한 약 800개 수작업 전처리

Train:Test = 8:2

하이퍼파라미터 설정

max_len = 64
batch_size = 64
warmup_ratio = 0.1
num_epochs = 10
max_grad_norm = 1
log_interval = 200
learning_rate =  5e-5

TimeChanger : 상대적 시간을 절대적 시간으로 변경 ('다음주 금요일'-> '10월 22일')

WordMaker : 단어 조합 중 물품일 확률이 가장 높은 단어를 채택, 2음절 이상의 단어 인식 ('갤럭시'만 사전에 있어도 '갤럭시 버즈' 인식)

장고 웹페이지 배포를 통해 채팅 모델 테스트 환경을 만들고 시나리오 데이터를 수집

• 모델 성능을 모두가 테스트할 수 있는 환경이 필요

• 발생 가능한 스크립트 경우의 수를 넓힌 시나리오 데이터 수집

UI : 카톡 대화 생성기처럼 대화의 입력값을 핑퐁 구현 (화자 선택 셀렉 박스, 대화 입력칸, 대화 종료 버튼, 채팅 결과창)

DB : 시나리오 수집 (입력 및 결과 저장), 사용자를 위한 히스토리 페이지 구성

결과 페이지 : main, chat, history, about

• 모듈은 KobertModule에서 일괄 관리, 버전 업그레이드가 필요한 모듈 별도 파일 구성

• 인물 아이콘을 선택하여 입력 화자를 선택 및 변경, 채팅 입력란에 시나리오 입력

• 계약서 생성 버튼을 눌러 채팅 종료, 모델 러닝 이후 우측에 요약 결과 표시

  

  
  
  

Q. 제조사 모델 반영 가능한지?

• A. 한국어에 특화된 데이터 셋이 부재하므로 상업적 이용 가능한 데이터 셋이 필요, 직접 구축하거나 위키 참조할 필요 있음

Q. 외래어 등 다양한 상품 이름을 인식 가능할지?

• A. 관련된 타겟 물품 모델링 학습을 진행 시 정확도 개선 가능

Q. 가격 네고 시 정규표현식으로 물품의 가격을 캐치하는 것이 가능할지?

• A. 현재로서는 불가능
• cf. 모델링 설계 단계부터 최종 승인 가격 캐치에 대한 고민이 많았는데, 그 중 한 가지 방법으로 가격 다음에 나오는 어절에 대한 감성 분석을 진행하여, 긍정일 경우에만 해당 가격을 최종 가격으로 캐치하는 방안을 생각했었는데 고도화하지 않아 실현하지 못함. 해당 질문은 가격 다음에 어떤 특정 어절을 정규표현식으로 캐치하여 최종 가격 판별 여부를 결정하는 거였는데, 마찬가지로 오타나 same meaning different expression 일 경우에 대한 가짓수에 대한 해결책이 없어 불가능하다고 답변