有没有随机权重初始化加全量数据复现GLM预训练模型的代码啊？ about flagai HOT 5 CLOSED

我在另一个数据上调试 得到了很快loss上升的曲线

如果是直接替换数据的话 应该会使用已经训练好的 “GLM-large-ch” 作为权重 有随机初始化的方法吗？

将train.py第31行改成model = GLMForSeq2Seq.from_pretrain(model_name=model_name,only_download_config=True)即可

from flagai.

我在另一个数据上调试 得到了很快loss上升的曲线

如果是直接替换数据的话 应该会使用已经训练好的 “GLM-large-ch” 作为权重 有随机初始化的方法吗？

from flagai.

如果想要复现预训练过程的话，您可以在https://data.baai.ac.cn/details/WuDaoCorporaText 上获取数据，然后替换掉示例里的jinrong_data.json

from flagai.

你们的模型 和 工程 和
https://github.com/THUDM/GLM
是什么关系呢？

from flagai.

你们的模型 和 工程 和 https://github.com/THUDM/GLM 是什么关系呢？

做的是差不多同样的事情，只不过整合进了FlagAI框架里，也就是用起来有点不一样

from flagai.