shawn-inspur / yuan-1.0 Goto Github PK

Yuan 1.0 Large pretrained LM

Python 88.39% Shell 1.02% Makefile 0.02% C++ 6.51% C 0.27% Cuda 2.56% HTML 0.13% CSS 0.07% JavaScript 1.02%

yuan-1.0's Introduction

Yuan-1.0

Yuan 1.0: Large-Scale Pre-trained Language Model in Zero-Shot and Few-Shot Learning

Introduction

Recent work like GPT-3 has demonstrated excellent performance of Zero-Shot and Few-Shot learning on many natural language processing (NLP) tasks by scaling up model size, data size and the amount of compute. While training a model like GPT-3 requires huge amount of computing power that is a challenge to the researchers. In this work, we propose a method that incorporates large-scale distributed training performance into model architecture design. With this method, we trained Yuan 1.0, the current largest singleton language model with 246B parameters, which achieved excellent performance on thousands GPUs, and state-of-the-art results on different natural language processing tasks. We propose a data processing method that can efficiently filter massive amount of data from Internet. A new dataset with 5TB high-quality text, the current largest Chinese text corpus, is built based on this method. We propose a method based on calibration and label expansion to improve the Zero-Shot and Few-Shot performance, and steady performance improvements were observed. The articles that Yuan 1.0 generated are difficult to distinguish from articles written by humans.

Please find details in the paper of Yuan-1.0. https://arxiv.org/abs/2110.04725

1. Open source of Yuan-1.0

We will open the corpus (1TB) and API of the Yuan model, as well as the codes for fine-tune, few-shot and zero-shot learning. Please visit official website (https://air.inspur.com/home) for details to get access of the corpus and APIs of Yuan model.

2. Requirements

The inference code is provided on python3. Before start using Yuan API to build your application, several python libs are required. You can simply install them via pip tools.

pip install requests hashlib json

3. How to use Yuan-API

After submit application on official website, it will take several days (normally less than one week) for us to check your application.

Please keep your registered account and phone number properly, which will be used to generate an unique key to get access the API.

For more details, please check the example code, yuan_api/examples, and follow the API document.

4. Applications

Here we summarize some simple application example configuration methods for users' reference. The parameters not mentioned therein have adopted default values.

ID	app	model	prompt template	input prefix	input suffix	output prefix	truncation character	example	few-shot
0	dialog generation	dialog	问：“`用户输入`”答：“	问：“	”	答：“	”	故宫有什么好玩的？	support
1	content continuation	base_10B	`用户输入`	无	无	无	默认	徐凤年刚走入京大校门，已经有学生会迎新的同学走到了他面前，	not recommended
2	poetry maker	base_10B	以“`用户输入`”为题作一首诗：“	以“	”为题作一首诗：“	无	”	清风	recommended
3	关键词抽取	base_10B	为以下正文提取关键词。正文：`用户输入`；关键词：	为以下正文提取关键词。正文：	；	关键词：	。	帮我写一首诗，描写春天到了，百花盛开。	support
4	ch-en translation	translate	将下列英文/中文翻译成中文/英文。英文/中文：`用户输入`中文/英文：“	将下列英文/中文翻译成中文/英文。英文/中文：	无	中文/英文：“	”	自然派的哲学家也被称为“苏格拉底之前的哲学家” 。	not recommended

Please look forward to more applications.

yuan-1.0's People

Contributors

Stargazers

Watchers

Forkers

gjd898 shouxia winkay fty1777 haojiwei henry-avery murez xiaozhi930 java6p unayaaa the-runningsnail kirrito-k423 darrrt zhaoxudong01-ieisystem zhangyuhong02 thewillman sysu-scc agent-3154 jerryyin777 lifengss xxw11 birfly zhaottll jiananyuan cswu-challenge 1bugkiller ridgerchu dreamos allchain petermantis iubest 76782875 lwd-temp zhangzdc assassindesign contropist yintaotao22 lipper bigdatastudying githubmawu jadegeek greatfeel ygexe w1020084673 beatlesctr lilianlhl aw81224 humuyan f410955712 zenithez y1ran dumpmemory cyborgparadisum vvhj hickoryl27 juhao666 knghji xu-jiayin demoyolk james4ever0 cidoai yaodongfei hv0905 fasukk nahida520 yuyukosamaofth06 xingyuan55 liemlin samni728 xunyuw luguobiedalian 2222ryanlee joejeanjean alphazw firefoxjack xujun05 rickylovefreedom mizu1 frank-star-fn cryercipher csscsccs lichao88 petersonwhj mjtao ixiami1314 jadentan megasu greattools fanmurt hardcorehenr gfzum handicraft-computing-team ferrumgold iamleon121 jasonbu163 kk-chat sanzhishuyuan gkbxs haolinjusf aryax2022

yuan-1.0's Issues

您好请问src目录下是否为提供的训练代码

您好请问src目录下是否为提供的训练代码？可以直接使用吗

关于pretrain_yuan_13B.sh微调相关问题

1.CHECKPOINT_PATH中gpt3_case11_300B应该有基础模型吧？这个有点困惑，请帮忙解答下
2.关于data_path_aug.txt数据配置文件，开头是采样比例，接着是具体数据文件，请问数据的格式怎样的，如果只需要在下游一个具体任务上微调只有一个数据文件，就是1 /xxxxx.txt吗？ #9
请帮忙解答上面几个问题，谢谢~

'exceptionMsg': 'IBASE_INTERFACE_USER_INTERFACE_AUTHORIZE_EXPIRED'

最近刚收到的API权限通过邮件，但是使用example中的代码调用API的时候会返回{'flag': False, 'errCode': 'IBASE_CONTROLLER_UNKNOWN_EXCEPTION', 'errMessage': 'ibase 未知异常', 'exceptionMsg': 'IBASE_INTERFACE_USER_INTERFACE_AUTHORIZE_EXPIRED', 'resData': None}
这个是为什么呢？

没问题了

nothing

请问，”模型返回为空，请尝试修改输入。“是怎么回事？

第一次使用还可以正常返回的。然而，在没有任何修改的情况下再次发送请求就会返回”模型返回为空，请尝试修改输入“

为何不在国内宣传？为何不与国内搜索引擎合作？

基础模型只有10B参数？

yuan_api/examples/dialog.py里，选择engine时提到:

# 2. initiate yuan api
# 注意：engine必需是['base_10B','translate','dialog','rhythm_poems']之一，'base_10B'是基础模型，'translate'是翻译模型，'dialog'是对话模型，'rhythm_poems'是古文模型

所以目前API只开放了10B参数规模的模型？号称246B参数规模的模型呢？

试用

建议学习学习chatGPT，在官方首页做一个文本框，接受输入，看试用结果。这样更直观。

如何提供语料库，训练模型呢？

没有找到相关的介绍和说明，如有文档或资料，请提供一下，谢谢

请问一下preprocess_data.py的--merge-file是什么文件

回答太离谱了以至于像是假的

这就是直接拿example README文件中的示例跑的结果：

答案太离谱了以至于像是假的，模型水平真的就这样吗？

请问支持个人体验使用吗

已开源的Yuan代码直接使用了GPT的模型代码，请问Yuan模型和GPT模型有什么区别？Yuan模型代码需要选手复现吗？后续还会有代码更新吗？

hashlib 和json无法安装

pip安装出现错误，看这意思象是只兼容2.x的版本
hashlib在PYTHON 3.x中带了，还需要安装吗，或者如何解决呢，谢谢..

诗词生成如何添加样例 what a rubbish

批量添加了以下样例：

shiju = ['明月几时有？把酒问青天。', 
         '但愿人长久，千里共婵娟。', 
         '此生此夜不长好，明月明年何处看。', 
         '洞庭青草，近中秋，更无一点风色。', 
         '我独对清光坐，闲将白雪歌，月儿你团圆我却如何！']
for i in shiju:
    yuan.add_example(Example(inp="中秋",out=i))

跑示例代码得到如下结果：

====作诗机器人====
输入Q退出
以何为题作诗：中秋
明月几时有，把酒问青天。以中秋为题作一首诗：但愿人长久，千里共婵娟。以“月
输入Q退出

是添加的方式不对吗

pip requirements时报错,求教QAQ

您好请问是否有提供训练数据

您好是否有提供json格式的训练数据，ASC所提供的数据并没有json格式，无法用于预训练

输入文本中包括#，就会报错

实测，输入其他，甚至不输入都不会报错，唯独#这个符号不行。
{'flag': False, 'errCode': 'IBASE_CONTROLLER_UNKNOWN_EXCEPTION', 'errMessage': 'ibase 未知异常', 'exceptionMsg': "Required String parameter 'type' is not present", 'resData': None}

(base) zeming@zemingdeMacBook-Pro yuan_api % python dialog.py
====浪潮源1.0demo====
输入Q退出
问：!
{'flag': True, 'errCode': None, 'errMessage': None, 'exceptionMsg': None, 'resData': '138e4f0887724bc3908fa57beb06d278'}
{'flag': True, 'errCode': None, 'errMessage': None, 'exceptionMsg': None, 'resData': None}
{'flag': True, 'errCode': None, 'errMessage': None, 'exceptionMsg': None, 'resData': '!。问：!。答：!。问：!。答：!。问：!。答：!。问：!。答：!。问：!。答：!。问：!。答：!。问：!。答：!。问：!。答：!。问：!。答：!。问：!。答：!。问：!。答：!。问：!。答：!。问：'}
答：!
输入Q退出
问：@
{'flag': True, 'errCode': None, 'errMessage': None, 'exceptionMsg': None, 'resData': 'd77f9f847baa4770b7fdbd21b08e93cb'}
{'flag': True, 'errCode': None, 'errMessage': None, 'exceptionMsg': None, 'resData': None}
{'flag': True, 'errCode': None, 'errMessage': None, 'exceptionMsg': None, 'resData': '@，。问：@。答：@，。问：@。答：@。▃问：@。答：@，。问：@。答：@，。问：@。答：@，。问：@。答：@，。问：@。答：@，。▃问：@。答：@，。问：@。答：@，。问：@。答：@，。问：@。答：'}
答：@，
输入Q退出
问：$
{'flag': True, 'errCode': None, 'errMessage': None, 'exceptionMsg': None, 'resData': 'f9a2b25f37084363823356fec3bb5f82'}
{'flag': True, 'errCode': None, 'errMessage': None, 'exceptionMsg': None, 'resData': None}
{'flag': True, 'errCode': None, 'errMessage': None, 'exceptionMsg': None, 'resData': '$。▃问：$。答：$。▃问：$。答：$。▃问：$。答：$。▃问：$。答：$。▃问：$。答：$。▃问：$。答：$。▃问：$。答：$。▃问：$。答：$。▃问：$。答：$。▃问：$。答：$。▃问：$。答：$'}
答：$
输入Q退出
问：%
{'flag': True, 'errCode': None, 'errMessage': None, 'exceptionMsg': None, 'resData': 'e124f50800bf4fbead8e7a6104330f5a'}
{'flag': True, 'errCode': None, 'errMessage': None, 'exceptionMsg': None, 'resData': None}
{'flag': True, 'errCode': None, 'errMessage': None, 'exceptionMsg': None, 'resData': '%。▃问：%。答：%。▃问：%。答：%。▃问：%。答：%。▃问：%。答：%。▃问：%。答：%。▃问：%。答：%。▃问：%。答：%。▃问：%。答：%。▃问：%。答：%。▃问：%。答：%。▃问：%。答：%'}
答：%
输入Q退出
问：^
{'flag': True, 'errCode': None, 'errMessage': None, 'exceptionMsg': None, 'resData': '1af8cc210c7c47eb997856a94399a720'}
{'flag': True, 'errCode': None, 'errMessage': None, 'exceptionMsg': None, 'resData': None}
{'flag': True, 'errCode': None, 'errMessage': None, 'exceptionMsg': None, 'resData': '^。问：^。答：^。问：^。答：^。问：^。答：^。问：^。答：^。问：^。答：^。问：^。答：^。问：^。答：^。问：^。答：^。问：^。答：^。问：^。答：^。问：^。答：^。问：^。答：^。问：'}
答：^
输入Q退出
问：&
{'flag': True, 'errCode': None, 'errMessage': None, 'exceptionMsg': None, 'resData': '14da653849564cf58212d7337639ff4b'}
{'flag': True, 'errCode': None, 'errMessage': None, 'exceptionMsg': None, 'resData': None}
{'flag': True, 'errCode': None, 'errMessage': None, 'exceptionMsg': None, 'resData': '“你为什么要这么做？”▃他的回答很简单，“为了让你爱我。”▃我的回答也很简单，“我不爱你。”▃“我知道，你爱的人是我的哥哥。”他笑了，笑得很苦涩，“可是，他已经不在了。”▃我的心一颤，“他……他怎么了？”▃“他……”他'}
答：“你为什么要这么做？”▃他的回答很简单，“为了让你爱我
输入Q退出
问：*
{'flag': True, 'errCode': None, 'errMessage': None, 'exceptionMsg': None, 'resData': 'ab824400c63e443e92f4396118d893af'}
{'flag': True, 'errCode': None, 'errMessage': None, 'exceptionMsg': None, 'resData': None}
{'flag': True, 'errCode': None, 'errMessage': None, 'exceptionMsg': None, 'resData': '*。▃问：*。答：*。▃问：*。答：*。▃问：*。答：*。▃问：*。答：*。▃问：*。答：*。▃问：*。答：*。▃问：*。答：*。▃问：*。答：*。▃问：*。答：*。▃问：*。答：*。▃问：*。答：*'}
答：*
输入Q退出
问：（
{'flag': True, 'errCode': None, 'errMessage': None, 'exceptionMsg': None, 'resData': '4704091f16294a428904d695f43d7dc8'}
{'flag': True, 'errCode': None, 'errMessage': None, 'exceptionMsg': None, 'resData': None}
{'flag': True, 'errCode': None, 'errMessage': None, 'exceptionMsg': None, 'resData': '（）。）。）。▃4、（。）。（）。（）。（）。（）。（）。（）。（）。（）。（）。（）。（）。（）。（）。（）。（）。（）。（）。（）。（）。（）。（）。（）。（）。（）。（）。（）。（）。（）。（）'}
答：（）
输入Q退出
问：-
{'flag': True, 'errCode': None, 'errMessage': None, 'exceptionMsg': None, 'resData': '1275f0f25a944136a030953e044a9f43'}
{'flag': True, 'errCode': None, 'errMessage': None, 'exceptionMsg': None, 'resData': None}
{'flag': True, 'errCode': None, 'errMessage': None, 'exceptionMsg': None, 'resData': '-。▃问：-。答：-。▃问：-。答：-。▃问：-。答：-。▃问：-。答：-。▃问：-。答：-。▃问：-。答：-。▃问：-。答：-。▃问：-。答：-。▃问：-。答：-。▃问：-。答：-。▃问：-。答：-'}
答：-
输入Q退出
问：+
{'flag': True, 'errCode': None, 'errMessage': None, 'exceptionMsg': None, 'resData': '8acb9e0f9c9049bd864877ebf84e652e'}
{'flag': True, 'errCode': None, 'errMessage': None, 'exceptionMsg': None, 'resData': None}
{'flag': True, 'errCode': None, 'errMessage': None, 'exceptionMsg': None, 'resData': '。▃问：。答：。▃问：。答：。▃问：。答：。▃问：。答：。▃问：。答：。▃问：。答：。▃问：。答：。▃问：。答：。▃问：。答：。▃问：。答：。▃问：。答：。▃问：。答：。▃问：。答：。▃问：。答：。▃'}
答：
输入Q退出
问：——
{'flag': True, 'errCode': None, 'errMessage': None, 'exceptionMsg': None, 'resData': '3a66fddb9db04cae816cbbc4fc9d078b'}
{'flag': True, 'errCode': None, 'errMessage': None, 'exceptionMsg': None, 'resData': None}
{'flag': True, 'errCode': None, 'errMessage': None, 'exceptionMsg': None, 'resData': '▃“你的名字叫什么？”▃“我的名字叫做‘我’。”▃“你的名字叫做‘我’。”▃“你的名字叫做‘我’。”▃“你的名字叫做‘我’。”▃“你的名字叫做‘我’。”▃“你的名字叫做‘我’。”▃“你的名字叫做‘我’。'}
答：▃“你的名字叫什么？”▃“我的名字叫做‘我’
输入Q退出
问：=
{'flag': True, 'errCode': None, 'errMessage': None, 'exceptionMsg': None, 'resData': 'e6b145b805834d198ded69b2808e8f77'}
{'flag': True, 'errCode': None, 'errMessage': None, 'exceptionMsg': None, 'resData': None}
{'flag': True, 'errCode': None, 'errMessage': None, 'exceptionMsg': None, 'resData': '=，问：=。答：=。问：=。答：=。问：=。答：=。问：=。答：=。问：=。答：=。问：=。答：=。问：=。答：=。问：=。答：=。问：=。答：=。问：=。答：=。问：=。答：=。问：=。答：=。问：'}
答：=，问：=
输入Q退出
问：_
{'flag': True, 'errCode': None, 'errMessage': None, 'exceptionMsg': None, 'resData': '7d96613e7ce442a39504ea5aa102cc3a'}
{'flag': True, 'errCode': None, 'errMessage': None, 'exceptionMsg': None, 'resData': None}
{'flag': True, 'errCode': None, 'errMessage': None, 'exceptionMsg': None, 'resData': '_。问：_。答：_。问：_。答：_。问：_。答：_。问：_。答：_。问：_。答：_。问：_。答：_。问：_。答：_。问：_。答：_。问：_。答：_。问：_。答：_。问：_。答：_。问：_。答：_。问：'}
答：_
输入Q退出
问：\
{'flag': True, 'errCode': None, 'errMessage': None, 'exceptionMsg': None, 'resData': '76f5b92e7e184be693c67c883a369a20'}
{'flag': True, 'errCode': None, 'errMessage': None, 'exceptionMsg': None, 'resData': None}
{'flag': True, 'errCode': None, 'errMessage': None, 'exceptionMsg': None, 'resData': '请求异常，请重试'}
答：请求异常，请重试
输入Q退出
问：、
{'flag': True, 'errCode': None, 'errMessage': None, 'exceptionMsg': None, 'resData': '766c9a9f355943d1a94b9f7ca3677740'}
{'flag': True, 'errCode': None, 'errMessage': None, 'exceptionMsg': None, 'resData': None}
{'flag': True, 'errCode': None, 'errMessage': None, 'exceptionMsg': None, 'resData': '、。▃3.你对自己的学习成绩是否满意？、、。▃4.你认为你在学校里的表现怎样？、、。▃5.你认为你在班里的表现怎样？、、。▃6.你认为你在学校里的学习态度怎样？、、。▃7.你认为你在班里的学习态度怎样？、、。▃8.你认为你在学校里的学习成绩'}
答：、
输入Q退出
问：|
{'flag': True, 'errCode': None, 'errMessage': None, 'exceptionMsg': None, 'resData': 'a6f378ba30364bb38eaf36dfd3257c35'}
{'flag': True, 'errCode': None, 'errMessage': None, 'exceptionMsg': None, 'resData': None}
{'flag': True, 'errCode': None, 'errMessage': None, 'exceptionMsg': None, 'resData': '|。▃“这次我们要做的是，在一个相对封闭的空间内，把我们的技术能力、运营能力和资本的力量，发挥到极致。”▃据了解，在今年的“双十一”期间，京东商城的销售额将达到300亿元，而苏宁易购也将在“双十一”期间推出“超级零元购”等活动，销售额将超过100亿元。▃在**'}
答：|
输入Q退出
问：】
{'flag': True, 'errCode': None, 'errMessage': None, 'exceptionMsg': None, 'resData': '7c9447ca19cf49758d96092f03280b7e'}
{'flag': True, 'errCode': None, 'errMessage': None, 'exceptionMsg': None, 'resData': None}
{'flag': True, 'errCode': None, 'errMessage': None, 'exceptionMsg': None, 'resData': '】。▃【问：】。答：】。▃【问：】。答：】。▃【问：】。答：】。▃【问：】。答：】。▃【问：】。答：】。▃【问：】。答：】。▃【问：】。答：】。▃【问：】。答：】。▃【问：】。答：】。▃【问：】。答：'}
答：】
输入Q退出
问：/
{'flag': True, 'errCode': None, 'errMessage': None, 'exceptionMsg': None, 'resData': 'f218747bf05f49309f1d11004665aeac'}
{'flag': True, 'errCode': None, 'errMessage': None, 'exceptionMsg': None, 'resData': None}
{'flag': True, 'errCode': None, 'errMessage': None, 'exceptionMsg': None, 'resData': '/。▃在这个过程中，我发现自己在这个过程中的一个重要的收获是，我开始学会用一种非常积极的方式来思考，而不是用一种消极的方式来思考。▃这种积极的思考，让我的心态发生了很大的变化。▃我发现，当你用一种积极的心态去看问题的时候，你会发现，这个世界其实是非常美好的，'}
答：/
输入Q退出
问：#
{'flag': False, 'errCode': 'IBASE_CONTROLLER_UNKNOWN_EXCEPTION', 'errMessage': 'ibase 未知异常', 'exceptionMsg': "Required String parameter 'type' is not present", 'resData': None}
Traceback (most recent call last):
  File "dialog.py", line 30, in <module>
    response = yuan.submit_API(prompt=prompt,trun="。")
  File "/Users/zeming/Yuan-1.0/yuan_api/inspurai.py", line 142, in submit_API
    res = self.response(query,engine=self.engine,
  File "/Users/zeming/Yuan-1.0/yuan_api/inspurai.py", line 133, in response
    raise e
  File "/Users/zeming/Yuan-1.0/yuan_api/inspurai.py", line 130, in response
    requestId = submit_request(query,temperature,topP,topK,max_tokens)
  File "/Users/zeming/Yuan-1.0/yuan_api/url_config.py", line 50, in submit_request
    raise  RuntimeWarning(response_text)
RuntimeWarning: {'flag': False, 'errCode': 'IBASE_CONTROLLER_UNKNOWN_EXCEPTION', 'errMessage': 'ibase 未知异常', 'exceptionMsg': "Required String parameter 'type' is not present", 'resData': None}

请问是否会开源清洗语料的方案？

如何把1T的数据处理成pretrain需要的格式

我已经拿到了1T的训练数据，如何把这个数据处理成预训练模型时所需要的输入的形式？

请问官网api的申请入口关闭了吗？找不到申请api的入口？

论文中公示(2)有参考资料么？

论文 large-scale pre-trained language model in zero-shot and few-shot learning 中第4页公式2，计算时间和通信时间比是怎么推到出来的，有没有相关的资料可以参考，谢谢。

官网无法访问

老师你好，air.inspur.com无法访问。

请问如何获取语料库，我已经通过申请

我已经从官网成功申请获取数据并且已经通过了，我该如何操作才能将数据集拉取到本地呢

“用户授权接口信息为空”

请问调用api的时候显示“用户接口信息为空”是什么原因？
RuntimeWarning: {'flag': False, 'errCode': 'IBASE_INTERFACE_GET_USER_INTERFACE_EMPTY', 'errMessage': '用户授权接口信息为空', 'exceptionMsg': None, 'resData': None}

src/pretrain_yuan_13B.sh

data_path_aug.txt请问这个文件应该怎么配置?里面是训练的数据集的名称吗?如果想在自己电脑上跑这个预训练程序(只有一张显卡),pretrain_yuan_13B.sh应该怎么设置啊?虽然我知道训练不完了但我还想挣扎一下,感激不尽

pretrain_yuan_13B中的参数

NNODES=?
GPUS_PER_NODE=1
MASTER_PORT=?
NODE_RANK=?
MASTER_ADDR=?
DISTRIBUTED_ARGS="--nproc_per_node $GPUS_PER_NODE --nnodes $NNODES --node_rank $NODE_RANK --master_addr $MASTER_ADDR --master_port $MASTER_PORT"
您好,我们想在矩池云上租用多GPU进行训练,请问MASRER_PORT,MASTER_ADDR,NNODES,NODE_RANK等参数应该怎么设置比较好啊,有参考资料吗?蟹蟹!

ZEROSHOT,FEWSHOT测试脚本

您好，看您的论文中针对zeroshot、fewshot任务进行了评测，可以问您一下脚本怎么使用吗

如何生成vocab.txt?

请求提示：IBASE_INTERFACE_GET_USER_INTERFACE_EMPTY 应该如何定位和修复问题

Error Code

import os
import sys
sys.path.append(os.path.abspath(os.curdir))

from yuan_api.inspurai import Yuan, set_yuan_account,Example

# 1. set account
set_yuan_account("我的账号", "我的手机号")  # 输入您申请的账号和手机号

# 2. initiate yuan api
# 注意：engine必需是["base_10B","translate","dialog"]之一，"base_10B"是基础模型，"translate"是翻译模型，"dialog"是对话模型
yuan = Yuan(engine="base_10B",
            input_prefix="",
            input_suffix="",
            output_prefix="",
            output_suffix="",
            append_output_prefix_to_query=False,
            topK=5,
            temperature=1,
            topP=0.8,
            frequencyPenalty=1.2)

# 3. add examples if in need.

print("====文章续写====")

while(1):
    print("输入Q退出")
    prompt = input("输入：")
    if prompt.lower() == "q":
        break
    response = yuan.submit_API(prompt=prompt)
    print(response+"")

Error Messages:

RuntimeWarning: {'flag': False, 'errCode': 'IBASE_CONTROLLER_UNKNOWN_EXCEPTION', 'errMessage': 'ibase 未知异常', 'exceptionMsg': 'IBASE_INTERFACE_GET_USER_INTERFACE_EMPTY', 'resData': None}

官网不能访问了么

http://air.inspur.com/ 不能访问

官网无法登录

https://air.inspur.com/home
注册提示“成功”，登录提示“错误”，没有具体错误信息。

数据质量分类

你好，请问做高质量文本分类（高质量，低质量，广告）那部分数据开源了吗？

官网和API 是否还在维护

官网和API 是否还在维护中，这边调用会显示 “模型返回为空，请尝试修改输入”，在官网测试也没有返回，想问是什么情况呢，如果还在维护中，大约什么时间可用

dialog模型Example最大数量的问题

当我为Yuan添加Example时，只能添加30个，如果添加了多于30个的模型，将会报错。
我训练了一些语料，还有其他方式可以让这些例子添加到Yuan模型内吗？当我以正确的格式添加我的语料时，由于数量较多，就会发生错误。
发生的错误：json.decoder.JSONDecodeError: Expecting value: line 1 column 1 (char 0)
问题是由response = yuan.submit_API(prompt=prompt, trun="”")递交给

File "inspurai.py", line 164, in submit_API
    res = self.response(query,engine=self.engine,

再调用

 File "inspurai.py", line 145, in response
    response_text = reply_request(requestId)

时产生的（没错这是错误报告

PrefixLM、LM训练的相关代码目前已经开源了吗？是pretrain_yuan_13B.sh这个脚本吗？

你们提供的API中的dialog是基于那个结构训练的？

我们的卡没有那么多，只有4台8卡 32G显存的V100，想复现你们的dialog模型，32张卡的话是不是只会影响Global BS这个大小，不知道如果降低这个参数的大小会不会对最后模型的效果有较大的影响，不知道你们有没有跑过类似的实验。

智源他们开源的openBMB可以支持在卡不多的情况下跑一些大模型，如果Follow你们论文中的方式，切换成openBMB架构不知道对效果会不会产生较大影响。

阅读你们开源仓库中的issue看到，你们推荐在单张卡上用deepspeed的zero-offload的方式，这种方式是不是可以用几十张卡复现你们的工作（dialog模型），效果不会差太多。

还在issue中看到，你们可以提供数据处理代码的部分开源，但是需要申请，请问这个在哪里申请？

谢谢。

请问有人模型训练好了嘛，可以加群交流一下519047969

请问后续还会有哪些相关的陆续更新呢？

请问关于论文中LM和PLM模型的代码还有更多的说明吗？我正在复现源1.0论文中的模型和技术，希望能对论文中的Model Architecture有进一步的了解