加载微调后模型时报错object of type 'QuantState' has no len() about visualglm-6b HOT 8 OPEN

'QuantState' has no len()

请问这个问题解决了吗？我用QLora方法跑完官方微调项目，加载模型的时候报了一样的错

from visualglm-6b.

我也遇到了相同的问题，请问解决了吗

from visualglm-6b.

我也遇到相同的问题，怎么解决？

from visualglm-6b.

我也是，有没有好心人回答一下

from visualglm-6b.

把这行代码直接改成device='cuda'：

https://github.com/THUDM/VisualGLM-6B/blob/main/cli_demo.py#L36

from visualglm-6b.

把这行代码直接改成device='cuda'：

https://github.com/THUDM/VisualGLM-6B/blob/main/cli_demo.py#L36

试过了，还是一样的报错

from visualglm-6b.

把这行代码直接改成device='cuda'：

https://github.com/THUDM/VisualGLM-6B/blob/main/cli_demo.py#L36

改了之后还是同样的报错，然后这两天试的时候还有个新的问题，用QLora微调的话会报：
Build 4bit layer failed. You need to install the latest bitsandbytes. Try pip install bitsandbytes.
（使用的还是bitsandbytes==0.39.0）
按照报错信息更新了bitsandbytes之后QLora可以跑通，但是加载微调后的模型还是会报TypeError: object of type 'QuantState' has no len()

from visualglm-6b.

把这行代码直接改成device='cuda'：
https://github.com/THUDM/VisualGLM-6B/blob/main/cli_demo.py#L36

改了之后还是同样的报错，然后这两天试的时候还有个新的问题，用QLora微调的话会报： Build 4bit layer failed.您需要安装最新的 bitsandbytes。尝试。 （使用的还是bitsandbytes==0.39.0） 按照报错信息更新了bitsandbytes之后QLora可以跑通，但是加载微调后的模型还是会报TypeError： object of type 'QuantState' has no len（）pip install bitsandbytes

你可以在 checkpoints/finetune-visualglm-6b-01-12-09-56 目录下查看一下微调之后的权重大小是多少，看是否是 7GB，还是 15GB。
删除 7GB 的微调权重，执行 bash finetune/finetune_visualglm.sh --quant 你会得到一个 15 GB 的新权重，这个权重是可执行的。
具体什么原因我不清楚，希望有高手解答吧，大概和量化有关系。

from visualglm-6b.