如果要基于 chatglm-6b 来训练一个多模态语言模型，glm 的 token部分该怎么处理呢？ about visualglm-6b HOT 2 CLOSED

可以看我们之前的文章cogview2，http://github.com/THUDM/CogView2 ，是你说的用token的语言模型的思路，结合了双向理解和生成，你可以用此思路和预训练llama结合一下。本仓库直接使用图像的feature，不需要自回归生成图像。

from visualglm-6b.

可以看我们之前的文章cogview2，http://github.com/THUDM/CogView2 ，是你说的用token的语言模型的思路，结合了双向理解和生成，你可以用此思路和预训练llama结合一下。本仓库直接使用图像的feature，不需要自回归生成图像。

想再请教一下代码细节，我看代码里图片有一个 image_length 默认为 32，这个是图片的 patch size 吗？然后图片经过 ViT 和 Q-Former 以后又进入了一个投影层转换维度是不是也可以看做是和 word_embedding 对齐的操作？然后视觉模型里面的 Mixin 这个名字是什么意思呀？
感谢~

from visualglm-6b.