RuntimeError: index out of range: Tried to access index 8489 out of table with 6186 rows.

您好，想问一下您，gpt-2中文预训练模型用的是哪个呢？

对于模型来说，出现UNK应该是比较罕见的情况，https://github.com/yangjianxin1/GPT2-chitchat/blob/master/interact_mmi.py#L171 不应该在此处理，也没有必要处理，如果一个模型很容易就产生UNK，那表明模型在训练的时候，数据分词后存在许多UNK，这是不合理的，根本原因是分词采用的分词表设计得不好或词汇太少。
如中文，可以添加单字到词表，以保证所有句子可以正确分割成最基本的单字，而不会产生UNK
而英文，就是单字母了。
当然这样可以完全避免UNK吗？
视情况而定，语料如果参杂太多的字词，词表又太少，那UNK就无法避免，所以训练前，数据预处理非常重要，可以根据要求去除无关词，如只要中文，那其它的就不应该被放进模型，如英文，日文等，而繁写的在预处理数据时，就要转成简体。另外，生成时的一些敏感词或不想生成的东西，就不应该放到模型中，在数据预处理时，就应该过滤掉。
如果你有什么不同的见解，请指教。

训练结束的时候的 loss 和 acc 大致在一个什么范围呢，谢谢啦

作者您好，我找到一个您提到的50W对话数据集的完整版，包含500W个轮对论对话，但是使用preprocess_raw_data处理成token的时候速度非常慢，一晚上才处理了十万条，请问有什么解决方法么

准备了500w raw语料，发现tokenize过程 2.37条数据一秒，整个处理需要580多个小时，如何提升Tokenize速度？

gradient_accumulation 与 loss的问题
Morizeyao/GPT2-Chinese#70

你好，请问有数据和模型的Google drive链接嘛？因为网络限制，不能打开百度云，非常感谢~

请问这里为什么使用tokenizer.encode(text)而不是像train过程中一样循环使用convert_tokens_to_ids(word)呢？这样history中的每一句都变成了[CLS] u [SEP]，最终生成的时候输入不就是变成了[CLS][CLS]u1[SEP][CLS]u2[SEP]...[SEP]吗？

Could you please add an extra download link apart from baidu? That will be really convenient for people not from Mainland China. Thanks!

作者你好，我在代码中看到下一个logits会除以temperature，但是它是整体都除以这个temperature，不知道这一步骤有什么作用，希望回答，感谢~
(然后还有一个小问题在采样的时候除了multinomial，不知道其他的你试过没有，或者有没有什么建议)

感谢大佬分享预训练模型，请问您从零训练这个模型用了多久时间？服务器要求是一个什么配置？
我训练时候Loss下降的很慢

请问您提供的预训练model在50W对话上训练前，用其他数据集预训练过吗？如果没有的话，能否提供一下在THUCNews这样的数据集上预训练的思路吗，万分感谢

比如说每天自动从各个地方抓取一些新的语料加入语料库

作者您好，我在服务器上运行训练代码
python3 train.py --epochs 30 --batch_size 1 --device 0 --raw

Name Persistence-M| Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap| Memory-Usage | GPU-Util Compute M. |
|===============================+======================+======================|
| 0 Tesla V100-SXM2... On | 00000000:00:08.0 Off | 0 |
| N/A 54C P0 246W / 300W | 15514MiB / 16130MiB | 100% Default |
+-------------------------------+----------------------+----------------------+
| 1 Tesla V100-SXM2... On | 00000000:00:09.0 Off | 0 |
| N/A 38C P0 39W / 300W | 0MiB / 16130MiB | 0% Default |
+-------------------------------+----------------------+----------------------+
| 2 Tesla V100-SXM2... On | 00000000:00:0A.0 Off | 0 |
| N/A 29C P0 39W / 300W | 0MiB / 16130MiB | 0% Default |
+-------------------------------+----------------------+----------------------+
| 3 Tesla V100-SXM2... On | 00000000:00:0B.0 Off | 0 |
| N/A 30C P0 38W / 300W | 0MiB / 16130MiB | 0% Default |
+-------------------------------+----------------------+----------------------+

gpu 0 是tf 在跑的代码，
我运行就出错
RuntimeError: CUDA error: out of memory
向您请教

当batch_size % 卡数 != 0 时会报错，需要在代码里面调整一下batch_size = batch_size//卡数 * 卡数 , 并且将DataLoader 中的 drop_last 设成True

在之前的GPT2-Chinese项目中transformer版本定在2.1.1中，在本项目中是否可以考虑升级？
其实应该就是263行的：
scheduler = transformers.WarmupLinearSchedule(optimizer, warmup_steps=args.warmup_steps, t_total=total_steps)
改为
scheduler = transformers.get_linear_schedule_with_warmup(optimizer, num_warmup_steps=args.warmup_steps, num_training_steps=total_steps)

改一下几个参数的传入名称即可。

详细文档可以参考如下

1. 2.1.1使用的线性schedule

class WarmupLinearSchedule(LambdaLR): """ Linear warmup and then linear decay. Linearly increases learning rate from 0 to 1 over warmup_stepstraining steps. Linearly decreases learning rate from 1. to 0. over remainingt_total - warmup_steps` steps.
"""
def init(self, optimizer, warmup_steps, t_total, last_epoch=-1):
self.warmup_steps = warmup_steps
self.t_total = t_total
super(WarmupLinearSchedule, self).init(optimizer, self.lr_lambda, last_epoch=last_epoch)

def lr_lambda(self, step):
    if step < self.warmup_steps:
        return float(step) / float(max(1, self.warmup_steps))
    return max(0.0, float(self.t_total - step) / float(max(1.0, self.t_total - self.warmup_steps)))`

2. 最新版的线性schedule

def get_linear_schedule_with_warmup(optimizer, num_warmup_steps, num_training_steps, last_epoch=-1):
    """ Create a schedule with a learning rate that decreases linearly after
    linearly increasing during a warmup period.
    """

    def lr_lambda(current_step):
        if current_step < num_warmup_steps:
            return float(current_step) / float(max(1, num_warmup_steps))
        return max(
            0.0, float(num_training_steps - current_step) / float(max(1, num_training_steps - num_warmup_steps))
        )

    return LambdaLR(optimizer, lr_lambda, last_epoch)

File "D:/NLP项目/GPT2-Summary-master/train.py", line 285, in train
outputs = model.forward(input_ids=input_ids)
File "D:\NLP项目\GPT2-Summary-master\transformers\modeling_gpt2.py", line 580, in forward
inputs_embeds=inputs_embeds,
File "E:\anaconda\lib\site-packages\torch\nn\modules\module.py", line 550, in call
result = self.forward(*input, **kwargs)
File "D:\NLP项目\GPT2-Summary-master\transformers\modeling_gpt2.py", line 456, in forward
inputs_embeds = self.wte(input_ids)
File "E:\anaconda\lib\site-packages\torch\nn\modules\module.py", line 550, in call
result = self.forward(*input, **kwargs)
File "E:\anaconda\lib\site-packages\torch\nn\modules\sparse.py", line 114, in forward
self.norm_type, self.scale_grad_by_freq, self.sparse)
File "E:\anaconda\lib\site-packages\torch\nn\functional.py", line 1725, in embedding
return torch.embedding(weight, input, padding_idx, scale_grad_by_freq, sparse)
RuntimeError: Expected object of device type cuda but got device type cpu for argument #3 'index' in call to _th_index_select
大概就是数据类型的问题吧，怎么改都不得行

训练好的多个模型，怎么合并成一个模型

尊敬的作者：
您好！
您的代码中，总是将输入作为label来计算loss，我总觉得这样做虽然也可以产生不差的效果，但与原论文中所阐述的，用答句来预测问句P(Source|target)还是有一定区别的。我谨以为相应的部分需要稍微改进一下，将前向计算的label设为输入对话之前的问答部分，是否是我的理解出现了偏差呢，还请不吝赐教！

请问为什么MMI输入语料训练时，要将一条训练语料进行逆序拼接?

可以利用past加快生成及添加批量生成，如果你后面的Future Work完成，则可以通过批量，同时生成一些句子，然后进行评分选出最优解
批量生成：

input_ids = [tokenizer.cls_token_id]  # 每个input以[CLS]为开头
# 在此位置添加一行
inputs = [copy.deepcopy(input_ids) for _ in range(batch_size)]` # 这行作为输入，转成Tensor

https://github.com/yangjianxin1/GPT2-chitchat/blob/master/interact.py#L149 这行更改为
next_token_logits = outputs[0][:,-1, :]
这行https://github.com/yangjianxin1/GPT2-chitchat/blob/master/interact.py#L88 干掉
接下来要更改generated=[[] for _ in range(batch_size)] 变成二维数组接收结果

 generated.append(next_token.item()) # 变成以下这样子
[l.append(next_token[i].item()) for i,l in enumerate(generate)]

后面的连接也要改一下
纯属建议...

user:家大业大啊！结婚了就住家里，人那么多！要是看谁不顺眼，还得忍着！唉

candidate response:
所以我不害怕这事 loss:4.983797073364258
我觉得不住了，我的人都走丢了 loss:4.73016357421875
你咋不睡 loss:5.311781883239746
我觉得还是可以自己解决的，人多才能投简历来面对自己 loss:4.142895221710205
不住家里的话就紧紧跟着你在一起呗 loss:4.549864768981934
chatbot:我觉得还是可以自己解决的，人多才能投简历来面对自己
2
user:我才十二但想找个暖男

candidate response:
找个暖男吧！ loss:5.694338798522949
不好意思我没有找到男朋友 loss:4.838464736938477
暖男是我室友 loss:6.382010459899902
你是说你是十二的嘛 loss:5.631513595581055
你还有我这个老公 loss:5.2759833335876465
chatbot:不好意思我没有找到男朋友
3
user:世界就这样，在有些人眼里我们连狗都不如。

candidate response:
是吧。 loss:3.9077725410461426
是的，每当我看见狗都不如的人都不如，我觉得他的笑也 loss:3.862053632736206
你这样的人在我们都是垃圾的 loss:3.5536110401153564
是吧。我们的老虎终于可以回家啦 loss:3.7600178718566895
这只狗有什么意义 loss:4.073012828826904
chatbot:你这样的人在我们都是垃圾的

感觉8挺小的，这个有什么特别的含义吗

GPU训练的时候报错：
Expected object of device type cuda but got device type cpu for argument #3 'index' in call to _th_index_select
Traceback (most recent call last):
File "train.py", line 431, in
main()
File "train.py", line 425, in main
train(model, device, train_list, multi_gpu, args)
File "train.py", line 319, in train
raise exception
File "train.py", line 283, in train
outputs = model.forward(input_ids=input_ids)
File "D:\ProgramData\Anaconda3\envs\pytorchspace\lib\site-packages\transformers\modeling_gpt2.py", line 533, in forward
head_mask=head_mask)
File "D:\ProgramData\Anaconda3\envs\pytorchspace\lib\site-packages\torch\nn\modules\module.py", line 541, in call
result = self.forward(*input, **kwargs)
File "D:\ProgramData\Anaconda3\envs\pytorchspace\lib\site-packages\transformers\modeling_gpt2.py", line 420, in forward
inputs_embeds = self.wte(input_ids)
File "D:\ProgramData\Anaconda3\envs\pytorchspace\lib\site-packages\torch\nn\modules\module.py", line 541, in call
result = self.forward(*input, **kwargs)
File "D:\ProgramData\Anaconda3\envs\pytorchspace\lib\site-packages\torch\nn\modules\sparse.py", line 114, in forward
self.norm_type, self.scale_grad_by_freq, self.sparse)
File "D:\ProgramData\Anaconda3\envs\pytorchspace\lib\site-packages\torch\nn\functional.py", line 1484, in embedding
return torch.embedding(weight, input, padding_idx, scale_grad_by_freq, sparse)
RuntimeError: Expected object of device type cuda but got device type cpu for argument #3 'index' in call to _th_index_select

解决方案：
train.py第280行：input_ids.to(device) 修改为：input_ids = input_ids.to(device) 即可正常运行

中文50万训练的模型网盘链接失效了哦。

PS：Epoch跑十轮是不是基本和四十轮差不多？Batch Size 8的设定是测试出来的吗？

谢谢解答~

谢谢你的工作
我发现你的代码中没有关于attention_mask的内容，在训练和推理阶段的时候，attention mask应该是必要的，我想问一下，如何加上了会使得效果变好么

能单独拉出MMI的代码来做response选择吗？我试了一下， 我的模型（另外一个）生成 哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈哈？，这样的回复，loss 居然 是最低的，去到2.35563。为什么呢

请问安装好环境之后，执行python train.py --epochs 30 --batch_size 8 --device 0,1 --raw
直接爆出一个Segmentation fault (core dumped)，任何错误提示都没有，咋回事呢？多谢

想单独加载出来，发现报错了，咋回事 ...

虽然使用了多轮历史对话作为响应的生成条件，但是chatbot还是不能很好地掌握该逻辑。而Sample3与Sample5中，chatbot无法知道自己“是否在南京”，“是否去过北京”。 Sample6和Sample7这种重复性的问题（用户重复输入一样的对话内容），也无法识别一致的答案。

多次提问，产生不同的答案，生成逻辑中，使用了torch.multinomial函数，即使生成的概率是一样的，产生相同的答案，但是经过这个函数抽样后，结果也有可能不同啊，这个函数不是为了多样性而使用的吗？

2020-01-08 14:18:13,763 - INFO - loading traing data
2020-01-08 14:18:13,806 - INFO - total training steps = 162195
Traceback (most recent call last):
File "train.py", line 432, in
main()
File "train.py", line 426, in main
train(model, device, train_list, multi_gpu, args)
File "train.py", line 263, in train
scheduler = transformers.WarmupLinearSchedule(optimizer, warmup_steps=args.warmup_steps, t_total=total_steps)
AttributeError: module 'transformers' has no attribute 'WarmupLinearSchedule'

你好，你的evluate()中的input_ids.to(device) 那里得改一下 input_ids = input_ids.to(device).

另外， 想问你一个问题。计算loss那一块，为什么是取0到n-2的prediction_scores， label却取得是1到n-1?? 那岂不是错位了。。我的理解是这里取1到n-1的prediction_scores和1到n-1的label?? 希望给个答复 谢谢啦。

我测试了两种情况的，发现有些未必会有改善。另外，后者需要加载两个模型么？

测试例子如下：
都输入 开始吧 作为起始
case1结果：
开始吧
chatbot:怎么就开始了呢
user:时间到啦啊
chatbot:嗯呢
user:嗯什么
chatbot:嘿嘿，开心一下
user:傻样子
chatbot:哪里傻，我还是个宝宝
user:哪哪都傻
chatbot:你这自信我就不开心了，大妹子，你也不是大妹子了
case2结果：
聊天记录2019-12-19 15:33:20.506588:
user:开始吧
candidate response:
我会让你认真的 loss:4.256475925445557
前面都是乱拍 loss:5.4540791511535645
好像是吧 loss:4.401147842407227
想哭 loss:5.471364974975586
开始，没法回头看 loss:4.7793965339660645
chatbot:我会让你认真的
user:时间到啦啊
candidate response:
就剩两天了 loss:4.653099536895752
上课无聊的我 loss:4.549105644226074
哈哈 loss:4.642543315887451
没有错！ loss:4.593847751617432
哼！好好好 loss:4.555785655975342
chatbot:上课无聊的我
user:嗯什么
candidate response:
回来吧 loss:4.875833034515381
早点睡吧，还要熬夜 loss:4.683757305145264
要放假 loss:5.102223873138428
还有下课呀 loss:4.945773601531982
没事儿就好好上课 loss:4.674844741821289
chatbot:没事儿就好好上课
user:傻
candidate response:
我没有 loss:4.917065143585205
上着呢啊 loss:4.985911846160889
我不信 loss:4.801839351654053
打死你 loss:4.787909984588623
谁不是 loss:4.949956893920898
chatbot:打死你
user:傻样子
candidate response:
玩游戏就傻了 loss:4.653222560882568
别打我，我还不知道你的脆皮脸呢 loss:4.488063335418701
可爱的小师妹 loss:4.773369789123535
大哥，真不知道是谁，哈哈哈 loss:4.318464756011963
真心的好不做作 loss:4.669813632965088
chatbot:大哥，真不知道是谁，哈哈哈
聊天记录2019-12-19 16:10:18.691453:
user:开始吧
candidate response:
我希望他能像我一样有个像刘诗诗一样有个性的男朋友， loss:3.41839599609375
我是真的认为她要走了就不能这样玩了 loss:3.9923839569091797
咋了 loss:5.471773147583008
不开心 loss:5.102871894836426
没错 loss:5.399983882904053
chatbot:我希望他能像我一样有个像刘诗诗一样有个性的男朋友，

不管是配置文件config.json或者是在train.py里面增加参数，新训练出来的模型的n_ctx，都是300。
小白求大神解答，万分感谢！！

Hi, thanks so much for your work

After reading your codes, I found there may be something wrong with the preprocessing function.
For example, in function preprocess_raw_data, you want to convert the string into the tokenized id for training (each id represents the word in the utterance).

And you finish it by using this line: dialogue_ids.extend([tokenizer.convert_tokens_to_ids(word) for word in utterance])

But, the utterance here is the string and the word here is the character instead of the word.

Am I right? I hope to get the responses from you. Thanks.

你好，想请教一下是怎么实现的让生成的文本是短文本？是因为训练的语料都是短文本吗？

谢谢作者分享中文对话语料， 我想请问一下训练对话模型之前， 有用大量文本预训练GPT吗

gradient_accumulation默认值为1，当我改为大于1的时候发现loss下降的很快....