您好，请问是否可以训练BLIP部分，微调代码似乎只可以微调chatglm的指定层的参数 about visualglm-6b HOT 4 OPEN

这里可以定义你想微调的参数名称：

from visualglm-6b.

这里可以定义您想要的参数的参数名称：

VisualGLM-6B/finetune_visualglm.py

Lines 34 to 49 in f4429a0

	def disable_untrainable_params(self):
	enable = []
	if self.args.use_ptuning:
	enable.extend(['ptuning'])
	if self.args.use_lora or self.args.use_qlora:
	enable.extend(['matrix_A', 'matrix_B'])
	for n, p in self.named_parameters():
	flag = False
	for e in enable:
	if e.lower() in n.lower():
	flag = True
	break
	if not flag:
	p.requires_grad_(False)
	else:
	print(n)

非常感谢您的耐心回复，由于我不清楚n的具体值（从代码看至少有ptuning，matrix_A和matrix_B），我试图打印出所有的n,并从中寻找BLIP部分的参数名称，部分输出如下：

我应该将enable.extend(['matrix_A', 'matrix_B']) 改为enable.extend(['vit.transformer']) ，这样就可以训练Vit部分的参数了，是这样的吗？
感谢您的解答！

from visualglm-6b.

是的

from visualglm-6b.

是的

感谢您的解答。
一些信息需要确认，mixins.eva.model.vit.transformer.layers是视觉模型，mixins.eva.model.qformer.transformer.layers是BLIP-2的轻量级查询 Transformer，transformer.layers是ChatGLM的参数，是吗？

from visualglm-6b.