微调完成后推理加载问题 about visualglm-6b HOT 9 CLOSED

layer_range接受一个list作为参数，代表要加lora的层编号，比如我们提供的脚本里list(range(0, 28, 14))其实就是[0, 14]，这个是python的语法。你如果想对15和16也加lora，就直接传layer_range=[0, 14, 15, 16]就可以了。

from visualglm-6b.

请改成

python3 cli_demo.py --from_pretrained /root/ai/VisualGLM-6B/checkpoints/finetune-visualglm-6b-05-25-15-02 --prompt_zh 请给这张图片写一段广告语?

from visualglm-6b.

请改成

python3 cli_demo.py --from_pretrained /root/ai/VisualGLM-6B/checkpoints/finetune-visualglm-6b-05-25-15-02 --prompt_zh 请给这张图片写一段广告语?

已成功运行，谢谢，
训练前

训练后

，
衣服

希望接下来支持在web_demo也能加载微调后的模型

from visualglm-6b.

多轮对话的推理能力也很不错

from visualglm-6b.

如果数据多的话可以考虑增加训练的参数，目前的训练脚本只训练了2层lora，可以看到 https://github.com/THUDM/VisualGLM-6B/blob/main/finetune_visualglm.py#L18 的layer_range参数，目前只finetune了[0,14]两层的lora。

from visualglm-6b.

如果数据多的话可以考虑增加训练的参数，目前的训练脚本只训练了2层lora，可以看到 https://github.com/THUDM/VisualGLM-6B/blob/main/finetune_visualglm.py#L18 的layer_range参数，目前只finetune了[0,14]两层的lora。

实在是太感谢你了，在微调的过程中给予我这么多帮助，我看到这行代码了
self.add_mixin("lora", LoraMixin(args.num_layers, args.lora_rank, head_first=True, num_attention_heads=args.num_attention_heads, hidden_size_per_attention_head=args.hidden_size // args.num_attention_heads, layer_range=list(range(0, 28, 14))), reinit=True)

我知道在SD里lora层数是26层
BASE,IN00,IN01,IN02,IN03,IN04,IN05,IN06,IN07,IN08,IN09,IN10,IN11,M00,OUT00,OUT01,OUT02,OUT03,OUT04,OUT05,OUT06,OUT07,OUT08,OUT09,OUT10,OUT11
所以如果想修改层数，是否是改成 self.add_mixin("lora", LoraMixin(args.num_layers, args.lora_rank, head_first=True, num_attention_heads=args.num_attention_heads, hidden_size_per_attention_head=args.hidden_size // args.num_attention_heads, layer_range=list(range(0, 28, 14, 15, 16))), reinit=True)这种方式？

from visualglm-6b.

如果数据多的话可以考虑增加训练的参数，目前的训练脚本只训练了2层lora，可以看到 https://github.com/THUDM/VisualGLM-6B/blob/main/finetune_visualglm.py#L18 的layer_range参数，目前只finetune了[0,14]两层的lora。
visualglm是否支持chatglm一样的多轮对话训练？

{"prompt": "长城h3风扇不转。继电器好的。保险丝好的传感器新的风扇也新的这是为什么。就是继电器缺一个信号线", "response": "用电脑能读数据流吗？水温多少", "history": []}
{"prompt": "95", "response": "上下水管温差怎么样啊？空气是不是都排干净了呢？", "history": [["长城h3风扇不转。继电器好的。保险丝好的传感器新的风扇也新的这是为什么。就是继电器缺一个信号线", "用电脑能读数据流吗？水温多少"]]}
{"prompt": "是的。上下水管都好的", "response": "那就要检查线路了，一般风扇继电器是由电脑控制吸合的，如果电路存在断路，或者电脑坏了的话会出现继电器不吸合的情况！", "history": [["长城h3风扇不转。继电器好的。保险丝好的传感器新的风扇也新的这是为什么。就是继电器缺一个信号线", "用电脑能读数据流吗？水温多少"], ["95", "上下水管温差怎么样啊？空气是不是都排干净了呢？"]]}

from visualglm-6b.

layer_range接受一个list作为参数，代表要加lora的层编号，比如我们提供的脚本里list(range(0, 28, 14))其实就是[0, 14]，这个是python的语法。你如果想对15和16也加lora，就直接传layer_range=[0, 14, 15, 16]就可以了。

感谢指导，visualglm是否支持chatglm一样的多轮对话训练？

{"prompt": "长城h3风扇不转。继电器好的。保险丝好的传感器新的风扇也新的这是为什么。就是继电器缺一个信号线", "response": "用电脑能读数据流吗？水温多少", "history": []}
{"prompt": "95", "response": "上下水管温差怎么样啊？空气是不是都排干净了呢？", "history": [["长城h3风扇不转。继电器好的。保险丝好的传感器新的风扇也新的这是为什么。就是继电器缺一个信号线", "用电脑能读数据流吗？水温多少"]]}
{"prompt": "是的。上下水管都好的", "response": "那就要检查线路了，一般风扇继电器是由电脑控制吸合的，如果电路存在断路，或者电脑坏了的话会出现继电器不吸合的情况！", "history": [["长城h3风扇不转。继电器好的。保险丝好的传感器新的风扇也新的这是为什么。就是继电器缺一个信号线", "用电脑能读数据流吗？水温多少"], ["95", "上下水管温差怎么样啊？空气是不是都排干净了呢？"]]}

from visualglm-6b.

支持，可以参考cli_demo.py

from visualglm-6b.