lora微调后输出的模型文件发生变化，导致调用微调后的模型出现错误 about qwen-vl HOT 8 OPEN

请问一下您这边是多卡微调的吗？

from qwen-vl.

请问一下您这边是多卡微调的吗？

不是，是单卡，现在倒是修好了，好像是环境的问题，不过不知道怎么回事adapter_model.bin现在从四百多M变成两百多M了，但是模型效果好像没变化

from qwen-vl.

请问一下您这边是多卡微调的吗？

不是，是单卡，现在倒是修好了，好像是环境的问题，不过不知道怎么回事adapter_model.bin现在从四百多M变成两百多M了，但是模型效果好像没变化

请问下单卡多大的显存才能跑的动微调呢，我单机4卡，共90G的显存，不管是用loar还是qlora，以及分布式还是单机都一直报OOM

from qwen-vl.

请问一下您这边是多卡微调的吗？

不是，是单卡，现在倒是修好了，好像是环境的问题，不过不知道怎么回事adapter_model.bin现在从四百多M变成两百多M了，但是模型效果好像没变化

请问下单卡多大的显存才能跑的动微调呢，我单机4卡，共90G的显存，不管是用loar还是qlora，以及分布式还是单机都一直报OOM

我这里是单卡跑，单卡跑千问7B的lora的话，显存占用和finetune_lora_single_gpu.sh文件中的model_max_length参数有关，参数值越大显存占用越大，我这里参数值384，显存占用24G，参数值2048，显存占用45G

from qwen-vl.

请问一下您这边是多卡微调的吗？

不是，是单卡，现在倒是修好了，好像是环境的问题，不过不知道怎么回事adapter_model.bin现在从四百多M变成两百多M了，但是模型效果好像没变化

请问下单卡多大的显存才能跑的动微调呢，我单机4卡，共90G的显存，不管是用loar还是qlora，以及分布式还是单机都一直报OOM

我这里是单卡跑，单卡跑千问7B的lora的话，显存占用和finetune_lora_single_gpu.sh文件中的model_max_length参数有关，参数值越大显存占用越大，我这里参数值384，显存占用24G，参数值2048，显存占用45G

降低length之后，直接报tensor错误了，请问有遇到吗，数据集也是直接用的官方的，就那两张图片，batch_size也是1，按理不会出现这种错误: RuntimeError: stack expects each tensor to be equal size, but got [1] at entry 0 and [0] at entry 2

from qwen-vl.

我也降低了model_max_length，不过是基于chat模型在2张3090上做lora微调，但是效果很差，我理解应该是没微调visual模块的参数导致的，请问大佬们有微调过visual模块吗？只微调visual模块，需要多少算力？

from qwen-vl.

@InvincibleMinions 请问一下你这个问题是怎么解决的。我也是遇到同样的问题。可以提供你解决这个问题的方法吗？😊

from qwen-vl.

调用模型IMAGE_SET的这个错误可以参考
#287

@InvincibleMinions 请问一下你这个问题是怎么解决的。我也是遇到同样的问题。可以提供你解决这个问题的方法吗？😊

from qwen-vl.