bupark82 / the-clean-transformer Goto Github PK

What?

key_padding_mask 적용하기

Why?

[PAD] 토큰은 집중할 필요가 없다고 (어텐션=0) 모델에게 알려줘야 한다.

What?

subsequent_mask 구현하기

e.g.
max_length = 3

1 0 0
1 1 0
1 1 1

Why

마스킹을 하지 않으면 모든 시간대에 대하여 가중평균을 하는 어텐션 메카니즘의 특성 상 auto-regressive training을 할 수 없기 때문이다.

What?

'predict' 함수 구현하기

Why?

사전학습된 트랜스포머로 한-영 번역을 시도하기 위해선, 다음과 같은 auto-regressive inference 알고리즘을 구현해야 한다. 그 역할을 하는 함수가 'predict'이며, 그것을 구현하고자 한다.

To-do's

• 이슈와 동명의 브랜치를 만들기
• 'predict' 함수 구현하기

What

'1st_flask_app' 구현

Why

flask 웹 프레임워크를 사용하여 웹 어플리케이션 개발하기

To-do's

-[ ] '1st_flask_app' 구현

What?

MultiHeadAttentionLayer 구현

Why?

여러 의존관계를 학습하도록 유도하기 위해서.

To-do's

• 브랜치 생성
  ...

• isssue 머지 -> learn

What?

'SelfAttentionlayer' 구현

Why?

'SelfAttentionLayer' 를 사용하면 단어가 쓰인 문장에서 단어가 가진 맥락을 인코딩 할 수 있기 때문에, 구현해야한다.

To-do's

• 이슈 브랜치 만들기
• AttentionLayer 구현

What?

EncoderDecoderAttention 구현하기

Why?

인코더의 여러 히든 벡터 중에서 각 시간대를 번역하기에 필요한 것을 soft-search 할 수 있다. (word-word alignment)