Mô hình dựa trên paper Reading Wikipedia to Answer Open-Domain Questions - Danqi Chen, Adam Fisch, Jason Weston, Antoine Bordes Dataset sử dụng là bộ dataset của cuộc thì Zalo AI 2019 - Vietnamese Wiki Question Answering
Màu xanh lam : Model với multihead attn question-context + multihead attn question-question trên bilstm
Màu xanh lá : Model với multihead attn question-context
Màu hồng : Base model
Multiheed attention được implement dựa theo paper Attention Is All You Need - Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, Illia Polosukhin
Yêu cầu:
- docker
Setup env:
- Build docker image:
docker-compose build gpu
- Create docker container:
docker-compose build gpu
và truy cập jupyter notebook server với address có trong terminal
Training:
- Run notebook
DrQA.ipynb
với các config (dataset đã được chuẩn bị trước, xem kĩ hơn tạidataset/qaset/
)
Logger:
- Run notebook
TensorboardLogger
, cần đặt tên cho experiemnt khi training để dễ phân biệt