자연어처리 Final Project 11조 이준석의 Kiwi tokenizer를 통한 영한 기계번역 소스코드입니다.
데이터셋은 하단의 사이트에서 다운 받으시길 바랍니다.
translate.ipynb
: pytorch documentation을 바탕으로 구현한 모델
helsinki_NLP.ipynb
: helsinki_NLP 기계번역 모델 실험
preprocess.py
: parallel dataset 구성을 위한 전처리
tutorial.py
: pytorch documentation tutorial file
sample.json
: Comparative analysis에 사용된 source text