thaumstrial / finetuneglmwithpeft Goto Github PK

训练完毕后，result 文件里面什么都没有，是哪一步出错了😓

ValueError: 150001 is not in list

我这样改成多卡的：
model = get_peft_model(model, peft_config)
model.print_trainable_parameters()
model = torch.nn.DataParallel(model, device_ids=[0, 1, 2, 3, 4, 5, 6, 7])
model = model.half().cuda()
会报错：
RuntimeError: Expected all tensors to be on the same device, but found at least two devices, cuda:0 and cuda:1! (when checking argument for argument index in method wrapper__index_select)

学生党在colab上尝试了您的代码 但是显存只有15G 没法load这个6B的模型。
我把代码中的chatGLM-6B替换成chatGLM-6B-int4 想看看能否微调
但是 trainer.train()那里一直报错 self and mat2 must have same dtype
我怀疑可能是模型经过量化后其参数的精度和batch输入精度不匹配。
想请教您，如何修改代码，实现在量化后的小模型chatGLM-6B-int4上微调。
非常感谢！