是否有模型与HuggingFace transformers 模型 相互转化的功能？ about flagai HOT 11 CLOSED

https://github.com/FlagAI-Open/FlagAI/tree/master/examples
下面有各种不同任务的Finetuning

from flagai.

需要用到哪个模型？

from flagai.

需要用到哪个模型？

现在并不指定用哪个模型。但是像UER
就有如

from scripts.convert_bert_from_uer_to_huggingface import convert_bert_transformer_encoder_from_uer_to_huggingface

这种功能 这样能很方便地在其他通用框架使用

比如你们的预训练模型 都在 https://model.baai.ac.cn/api/searchModelFileByName
上面 如果我觉得你的t5 预训练模型比较好 我不使用你们的AutoLoader接口进行初始化
的时候就比较麻烦。

还有一个功能性的问题 autoloader 对应的transform接口 是对数据进行基本变换的 现在看似
只支持图片（torchvison compose）这种通用的统一覆盖接口 只覆盖图片特征感觉有些可惜。
你有之后覆盖文本预处理的思路吗？

from flagai.

很感谢您的建议，我们有一部分模型代码可以通过from_pretrained加载下载好的本地HF transformers的模型权重，比如T5、GPT2等。同时，也有一部分model有HF transformers的版本。但是现在还没有将这个转化工具单独作为一个功能进行实现。
文本预处理的工作，我们后续可能会参考pipeline的一些实现方法。

如果您有兴趣，可以提一个PR，后续一起开发这两个功能。

from flagai.

很感谢您的建议，我们有一部分模型代码可以通过from_pretrained加载下载好的本地HF transformers的模型权重，比如T5、GPT2等。同时，也有一部分model有HF transformers的版本。但是现在还没有将这个转化工具单独作为一个功能进行实现。 文本预处理的工作，我们后续可能会参考pipeline的一些实现方法。

如果您有兴趣，可以提一个PR，后续一起开发这两个功能。

GLM模型的finetune例子在哪呢？

from flagai.

https://github.com/FlagAI-Open/FlagAI/tree/master/examples
下面有各种不同任务的Finetuning

你们这个glm的prompt不错啊。有没有那种支持输入context之后根据context问一个问题，之后生成答案的模版啊？

from flagai.

因为传统extractive qa抽取的span答案 会出现覆盖不全的问题，比如遍布多个文段，但如果能用生成的话就弥补了这一点

from flagai.

https://github.com/FlagAI-Open/FlagAI/tree/master/examples
下面有各种不同任务的Finetuning

glm_blank_filling 微调任务有在一定数据（不是像在小的json数据）上的真实预训练代码吗？
相应的mask数据工具好像在dataset的 block模块中，依据概率进行mask
能简述一下mask的具体流程吗（跟使用的类的关联）
而且你在glm_pretrain提供的小jinrong_data.json数据有很多域是空值
如何复现一个有效的预训练呢？

from flagai.

中文GLM预训练模型的参数有多少个？跟GPT2和T5比

from flagai.

目前支持的GLM-10b-ch模型有百亿参数， GLM系列模型参数列表见：https://model.baai.ac.cn/model-detail/100001

from flagai.

Q: glm_blank_filling 微调任务有在一定数据（不是像在小的json数据）上的真实预训练代码吗？
A: 只需要将小的json样例数据替换成大规模数据即可
Q: 能简述一下mask的具体流程吗（跟使用的类的关联）
A: 在flagai.data.dataset.data_collator.collate_fn.ConstructBlockStrategy 里，Mask的方式有三种，分别是token级别，sentence级别，以及更长的document级别，可以参考GLM原论文https://arxiv.org/pdf/2103.10360.pdf

from flagai.