안녕하세요! 질문이 있습니다. about kcbert HOT 2 CLOSED

안녕하세요,

Vocab 갯수가 3만은 경험적으로 지정한 측면이 있습니다.
다만 한국어같은 경우는 자소단위가 아닌 이상 한 글자 단위도 무척 많아서, 해당 부분을 모두 커버하고 + 유의미한 단어 단위로 자르기 위해서는 3만개 정도는 필요하다고 생각합니다.
물론 3만개의 Vocab도 완벽한것은 아니기 때문에 한계는 있습니다 :)

Finetune을 Downstream task에 사용하시려는 것일까요? 아니면 갖고 계시는 데이터로 Pretrain을 좀 더 하시려는걸까요? 그것에 따라서 달라집니다.
전자의 경우라면 본문의 Colab링크를 참고하시면 Classification 예시가 있고,
후자의 경우라면 좀더 복잡한 방법이 필요합니다.

from kcbert.

아 3만개 지정은 그런 이유이시군요 감사합니다.

음.. 전자쪽이 맞을 것 같습니다.

가지고 있는 dataset을 이용해서

1. Tokenizer word 부터 다시 셋팅
2. 셋팅된 tokenizer로 fine tune 하는 수준

으로 생각하고 있었습니다.
말씀해주신 자료 보면서 이것저것 조사를 해봐야겠네요 ㅎㅎ 감사합니다!

from kcbert.