안녕하세요! 좋은 모델과 코드를 열어주셔서 감사합니다.
다름이 아니라 제가 https://beomi.github.io/2021/03/15/KcBERT-MLM-Finetune/
이 사이트에 나와있는데로 추가 학습을 했었는데
제 도메인에 맞는 데이터 [mask] 예측을 잘 하지 못하는 것 같아서,
vocab.txt를 제 학습 데이터로 만들어서 변경후 추가 학습을 하려하는데 이렇게 해도 괜찮을까요 ?

먼저 좋은 자료 공유해 주셔서 감사합니다.
저는 아직 초보지만 딥러닝에 관심이 있는 학생입니다.

colab에서 불러오는 dataset만 제가 원하는 데이터로 수정하여 학습을 진행해 봤습니다.

처음에는, colab의 KcBERT Large에서 pretrained_model만 beomi/kcbert-base로 수정해 시도해 봤는데,
학습이 완료된 모델이 세션 저장소에서 보이지 않았습니다.

두 번째에는, colab의 kcbert-nsmc에서 dataset만 바꾸어 진행해 봤는데, Exception: Model doesn't exists! Train first!
가 나왔습니다. 또한 predict.py를 실행했을 때에는 FileNotFoundError: [Errno 2] No such file or directory: './model/training_args.bin'이 나왔습니다.

colab에서 predict.py를 실행할 때 제가 준비해야 하는 다른 무언가가 있나요?
colab에서 제가 가진 데이터로 학습한 모델을 사용하거나, 로컬에서 사용하는 방법이 궁금합니다.

안녕하세요.

kcbert를 활용해서 팀 프로젝트를 진행하고 있는 학생입니다.

예측 모델이 학습데이터에 어떤 라벨을 예측했는지 뽑아 보고 싶어서 모델 학습 후, 다음과 같은 코드를 실행했습니다.

predictions_tr = trainer.predict(dataloaders=model.val_dataloader())

하지만 아래와 같은 오류가 계속 뜨네요...
TypeError: Model.forward() takes 1 positional argument but 2 were given

bard에게 물어봐서

class Model(LightningModule): 안에

def training_step(self, batch, batch_idx):
data, labels = batch
output = self(input_ids=data, labels=labels)

def training_step(self, batch, batch_idx):
    data, labels = batch
    output = self.forward(input_ids=data, labels=labels) # self => self.forward

라고 고쳤는데 그래도 오류도 나고 어떻게 해봐도 안되네요.

해결 방법을 아시는 분들은 답변 달아주심 감사하겠습니다. ㅠㅠ

안녕하세요.

BERT를 이용한 텍스트 분류를 연구하는 사람입니다.

그런데 kobert나 기타 한국 check point를 사용하는 예제에서는 optuna로 하이퍼 파라미터를 최적화 하거나, 앙상블 하는 것이 안보여서요.
그다지 유용성이 없어서 예제가 없는 것인지 아니면, 다른 이유인지 궁금합니다.

혹여 예제가 있다면 업로드 해주시면 감사하겠습니다

안녕하세요,

KcBERT Pre-Training Corpus (Korean News Comments) 관련해서 여쭤볼 게 있는데요.
이 코퍼스로 모델을 학습 시켰다고 하시는데 각 코멘트의 라벨은 안 달려있나요?

답변 미리 감사드립니다.

안녕하세요!

NLP를 공부하고있는 학생입니다.

기사 댓글 데이터를 처리하는데 아주 적합한 KcBERT를 찾아서 매우 잘 사용하고 있습니다. 감사합니다 :)

그런데, 공유해주신 NSMC 데이터셋 fine-tuning하는 코드에서 다른 데이터셋을 사용할 때 발생한 에러를 잡지 못하고 있습니다.

처음에는 RuntimeError: CUDA error: device-side assert triggered 에러가 나서 해당 사이트에서 Runtime type을 None으로 변경하면 실제 문제를 보여준다고 합니다. 그 이후 마주친 에러는 다음과 같습니다: IndexError: Target 2 is out of bounds.

• 코랩환경(공유해주신 네이버 영화평 데이터셋 fine-tuning Large Model): https://colab.research.google.com/drive/1dFC0FL-521m7CL_PSd8RLKq67jgTJVhL?usp=sharing

• 에러: IndexError: Target 2 is out of bounds.

• 상황: 제공해주신 코랩 환경에서 네이버 영화평 데이터셋이 아닌 5개의 감성 클래스(매우 부정 0, 부정 1, 중립 2, 긍정 3, 매우 긍정 4)를 가지고 있는 데이터셋으로 fine-tuning 하는 과정에서 해당 에러가 계속 생깁니다.

• 데이터셋 개수: 댓글 데이터 train: 11,281개 / test: 1,253개

• 데이터셋 구성: NSMC 데이터셋과 동일하게 id, document, label로 수정하였고, tab으로 띄어쓴 txt 파일입니다.

데이터 경로만 수정하였고, 다른 부분은 건들지 않았습니다.

5개의 레이블을 가진 데이터셋을 해당 코드에서 사용하려면 어떻게 하면 좋을까요?

제가 무엇을 놓치고 있는 것인지 도움 주실수 있으실까요?

에러 코드 전문 공유드립니다.

IndexError Traceback (most recent call last)
in ()
----> 1 main()

18 frames
in main()
18 # tpu_cores=args.tpu_cores if args.tpu_cores else None,
19 )
---> 20 trainer.fit(model)

/usr/local/lib/python3.6/dist-packages/pytorch_lightning/trainer/states.py in wrapped_fn(self, *args, **kwargs)
46 if entering is not None:
47 self.state = entering
---> 48 result = fn(self, *args, **kwargs)
49
50 # The INTERRUPTED state can be set inside the run function. To indicate that run was interrupted

/usr/local/lib/python3.6/dist-packages/pytorch_lightning/trainer/trainer.py in fit(self, model, train_dataloader, val_dataloaders, datamodule)
1082 self.accelerator_backend = CPUBackend(self)
1083 self.accelerator_backend.setup(model)
-> 1084 results = self.accelerator_backend.train(model)
1085
1086 # on fit end callback

/usr/local/lib/python3.6/dist-packages/pytorch_lightning/accelerators/cpu_backend.py in train(self, model)
37
38 def train(self, model):
---> 39 results = self.trainer.run_pretrain_routine(model)
40 return results

/usr/local/lib/python3.6/dist-packages/pytorch_lightning/trainer/trainer.py in run_pretrain_routine(self, model)
1237
1238 # CORE TRAINING LOOP
-> 1239 self.train()
1240
1241 def _run_sanity_check(self, ref_model, model):

/usr/local/lib/python3.6/dist-packages/pytorch_lightning/trainer/training_loop.py in train(self)
392 # RUN TNG EPOCH
393 # -----------------
--> 394 self.run_training_epoch()
395
396 if self.max_steps and self.max_steps <= self.global_step:

/usr/local/lib/python3.6/dist-packages/pytorch_lightning/trainer/training_loop.py in run_training_epoch(self)
489 # TRAINING_STEP + TRAINING_STEP_END
490 # ------------------------------------
--> 491 batch_output = self.run_training_batch(batch, batch_idx)
492
493 # only track outputs when user implements training_epoch_end

/usr/local/lib/python3.6/dist-packages/pytorch_lightning/trainer/training_loop.py in run_training_batch(self, batch, batch_idx)
842 opt_idx,
843 optimizer,
--> 844 self.hiddens
845 )
846 using_results_obj = isinstance(opt_closure_result.training_step_output, Result)

/usr/local/lib/python3.6/dist-packages/pytorch_lightning/trainer/training_loop.py in optimizer_closure(self, split_batch, batch_idx, opt_idx, optimizer, hiddens)
1013 else:
1014 training_step_output = self.training_forward(split_batch, batch_idx, opt_idx,
-> 1015 hiddens)
1016
1017 # ----------------------------

/usr/local/lib/python3.6/dist-packages/pytorch_lightning/trainer/training_loop.py in training_forward(self, batch, batch_idx, opt_idx, hiddens)
1224 # CPU forward
1225 else:
-> 1226 output = self.model.training_step(*args)
1227
1228 is_result_obj = isinstance(output, Result)

in training_step(self, batch, batch_idx)
15 def training_step(self, batch, batch_idx):
16 data, labels = batch
---> 17 loss, logits = self(input_ids=data, labels=labels)
18 preds = logits.argmax(dim=-1)
19

/usr/local/lib/python3.6/dist-packages/torch/nn/modules/module.py in _call_impl(self, *input, **kwargs)
720 result = self._slow_forward(*input, **kwargs)
721 else:
--> 722 result = self.forward(*input, **kwargs)
723 for hook in itertools.chain(
724 _global_forward_hooks.values(),

in forward(self, **kwargs)
11
12 def forward(self, **kwargs):
---> 13 return self.bert(**kwargs)
14
15 def training_step(self, batch, batch_idx):

/usr/local/lib/python3.6/dist-packages/torch/nn/modules/module.py in _call_impl(self, *input, **kwargs)
720 result = self._slow_forward(*input, **kwargs)
721 else:
--> 722 result = self.forward(*input, **kwargs)
723 for hook in itertools.chain(
724 _global_forward_hooks.values(),

/usr/local/lib/python3.6/dist-packages/transformers/modeling_bert.py in forward(self, input_ids, attention_mask, token_type_ids, position_ids, head_mask, inputs_embeds, labels, output_attentions, output_hidden_states, return_dict)
1340 else:
1341 loss_fct = CrossEntropyLoss()
-> 1342 loss = loss_fct(logits.view(-1, self.num_labels), labels.view(-1))
1343
1344 if not return_dict:

/usr/local/lib/python3.6/dist-packages/torch/nn/modules/module.py in _call_impl(self, *input, **kwargs)
720 result = self._slow_forward(*input, **kwargs)
721 else:
--> 722 result = self.forward(*input, **kwargs)
723 for hook in itertools.chain(
724 _global_forward_hooks.values(),

/usr/local/lib/python3.6/dist-packages/torch/nn/modules/loss.py in forward(self, input, target)
946 def forward(self, input: Tensor, target: Tensor) -> Tensor:
947 return F.cross_entropy(input, target, weight=self.weight,
--> 948 ignore_index=self.ignore_index, reduction=self.reduction)
949
950

/usr/local/lib/python3.6/dist-packages/torch/nn/functional.py in cross_entropy(input, target, weight, size_average, ignore_index, reduce, reduction)
2420 if size_average is not None or reduce is not None:
2421 reduction = _Reduction.legacy_get_string(size_average, reduce)
-> 2422 return nll_loss(log_softmax(input, 1), target, weight, None, ignore_index, None, reduction)
2423
2424

/usr/local/lib/python3.6/dist-packages/torch/nn/functional.py in nll_loss(input, target, weight, size_average, ignore_index, reduce, reduction)
2216 .format(input.size(0), target.size(0)))
2217 if dim == 2:
-> 2218 ret = torch._C._nn.nll_loss(input, target, weight, _Reduction.get_enum(reduction), ignore_index)
2219 elif dim == 4:
2220 ret = torch._C._nn.nll_loss2d(input, target, weight, _Reduction.get_enum(reduction), ignore_index)

IndexError: Target 2 is out of bounds.

안녕하세요! 좋은 모델 너무 감사합니다!
다름이 아니라 제가 가진 데이터셋으로 추가 학습시키려고 하는데 run_mlm.py 파일이 없는 것 같습니다.
혹시 실례가 안된다면 파일을 받을 수 있을까요 ? ㅜㅜ
감사합니다.

안녕하세요!
코퍼스 및 코드를 공개해주셔서 정말 감사합니다.

공개해주신 코퍼스로 KcBERT를 직접 한번 만들어 보려고 하는데요.

BERT 공식 github(https://github.com/google-research/bert)의 pre-training 설명에 따르면
| Here's how to run the data generation. The input is a plain text file, with one sentence per line. (It is important that these be actual sentences for the "next sentence prediction" task). Documents are delimited by empty lines.

라고 언급하고 있습니다. 특히 인용한 부분의 마지막 문장은 코퍼스가 여러 문서로 이루어져 있을 경우 문서와 문서 사이에 빈 행을 넣어 구분하라고 하고 있습니다.

공개해주신 코퍼스도 단일한 문서가 아니라 여러 가지 문서를 하나의 파일로 병합하신 것으로 보입니다.

그런데 공개해주신 코퍼스에는 문서를 구분하기 위한 빈 행이 보이지 않습니다.
혹시 모델을 만드실 때 코퍼스 내의 각 문서를 따로 구분하신 후 진행하셨는지, 아니면 공개된 대로 문서와 문서를 구분하지 않고 모델을 만드셨는지 궁금합니다!

안녕하세요, 모델과 하이퍼파라미터 공유해주셔서 감사합니다.
해당 내용을 참고하여 학습을 진행하려고 하는데, 아래 두 항목은 Huggingface의 BertConfig 문서에는 보이지 않아 질문드리고자 합니다.

"pooler_size_per_head": 128,
"pooler_num_attention_heads": 12,

BERT에서의 pooler는 Transformer Encoder의 output 이후에 보통 FC를 사용하여 downstream task에 맞게 projection 되는 것으로 이해했습니다.
하지만 올려주신 BertConfig에는 pooler가 multi head attention layer를 타는듯한 항목이 보이는데요, https://huggingface.co/transformers/model_doc/bert.html#transformers.BertConfig이나 다른 문서에서도 확인이 힘들어 질문드리게 되었습니다.

huggingface issue에도 huggingface/transformers#788 와 같이 유사한 질문이 올라왔던 것 같으나, 답변이 달리지 않았네요.

안녕하세요.
먼저 좋은 프로젝트 및 데이터 공유해주셔서 감사합니다!

캐글에 올려주신 데이터 확인해보니 댓글들 간에 맥락은 따로 없는 것처럼 보여서
기본 버트의 NSP나 알버트의 SOP는 사용하기 어려울것으로 보이는데,
pretraining 시, MLM만 사용하여 학습 하셨는지 여쭤보고 싶습니다.

감사합니다!

안녕하세요 다시 또 이슈를 들고오게 되었네요 .. ;-;

모델에 만개의 데이터를 학습하려 했는데 계속 만개 이상의 데이터로 라벨이 나오는데, 이게 어떤 경우에 이렇게 되는건지 아시나요?

사진은 배치를 32로 했더니 계속 안되서, 배치 사이즈를 1로 바꾸고 테스트한 결과입니다.

안녕하세요 ~ 먼저 좋은 자료 공유해주셔서 감사합니다.
알고보니 제가 자주 갔던 블로그 주인님이시네요 ㅎㅎ

질문이 있어서 Issue 남겨드려요!
제가 초보라 질문 수준이 낮아서.. 죄송합니다 ㅠ

1. Tokenizer word 개수를 3만개로 지정한 이유가 있으실까요?

• BERT 논문에서인가 거기서는 3만개로 했다고 본 것 같은데 그것 때문일까요?
• 한국어 (특히 네티즌들이 사용하는 단어)는 굉장히 다양한 단어가 있는데 3만개로 커버리지가 가능한지 궁금합니다!

2. Fine-tuning 하는 방법이 어떻게 될까요?

• Beomi님께서 만드신 Pre-training된 model을 이용해서 제가 가지고 있는 Dataset에 Fine-tuning을 하고 싶습니다.
• Model을 Fine-tuning 하는 방법과 Tokenizer tuning을(가능할지 모르겠지만) 하는 방법이 어떻게 될까요??

감사합니다!

안녕하세요. 우선 kcbert 공개해주셔서 정말 감사드립니다.
이를 이용해 prediction을 해보려 하는데, 튜토리얼에는 나와있지 않은 것 같습니다.
어떻게 할 수 있을까요?
추가로, validation과정을 생략하고 싶은데, 가능할까요?
환경은 colab, gpu: t4입니다

안녕하세요. 올려주신 코드 잘 사용하고 있습니다.

코랩에서 large 파일을 돌리려고 하는데, 일주일 전까지만 해도 잘 작동되다가 갑자기 오류가 발생하네요.
버전 오류일 수도 있다고 생각이 드는데, 계속 씨름하다가 해결 못 하겠어서 이슈 올립니다. ㅠㅠ

해결방법 아는 분들은 알려주시면 감사하겠습니다 (_ _)

좋은 자료 공유 감사드립니다.

개인 데이터로 학습시킨 후, 생긴 ckpt 를 BERT 모델에 load 하는 방법에서 막혔습니다 ㅜㅜ

혹시 가이드라인을 제시해주실 수 있을까요?