本模型利用GRU或CNN对存在某种关系的两个句子进行建模。模型大致结构为利用GRU（Cho et al., 2014b, RNN中的一种）或CNN学习句子表示，两个句子不共享一套参数。然后再用一层神经网络学习两个句子的联合表示，最后利用一个sigmoid层对两个句子进行打分，输入关系强弱的值，训练方法采用正负例训练。模型结构如下图所示

该模型可用于：连贯性任务（相当于窗口取2，只看前后两句话）；答案选取任务（针对QA数据集，问-答对正好是具有关联的两个句子）；以及对话质量评估（针对单轮对话，有点类似于一问一答那种形式（也是两个句子），模型评价对话的质量，即评价在聊天机器人系统中生成的对话质量如何）。

由于模型目前仅对两个句子进行建模，所以输入文件为两个文件，一个文件存储第一句，另一个文件存储下句（对应存储，对于中文需要分词，按空格隔开）。注意：除了修改main.py中的file1（第一句）和file2（第二句）以外，还需要修改ReadDate函数中的数值来确定训练数据和测试数据的规模。

main.py文件里面有以下参数可以设定：

• margin：正负例得分间隔
• iter：总共迭代次数
• learning_rate：学习率
• test_freq：每迭代多少次进行一次测试
• h_dim：隐层维度，即句子向量的维度
• vocab_size：词表大小，选取最高频的N个词
• w_dim：词向量维度
• neg_sample：负例采样的数目
• up_dim：句子联合表示的向量维度
• CNN_Flag：是否使用CNN模型，为False时不使用（使用GRU模型）
• save_file：保存测试结果的文件名

在命令行中输入：

python main.py

实验所用的数据为100W个对话对，有点类似于QA语料。实验设置为90W用于训练，10W用于测试，测试数据中5W为正例，5W为负例，使用GRU模型。实验结果如下：

Iter 0:

cost: 3.025
cost time: 195146.85 s
Test...
Accuracy: 0.75045
Test Done

Iter 1:

cost: 2.428
cost time: 190828.23 s
Test...
Accuracy: 0.79202
Test Done

Iter 2:

cost: 2.255
cost time: 187904.05 s
Test...
Accuracy: 0.76932
Test Done

Iter 3:

cost: 2.169
cost time: 155178.83 s
Test...
Accuracy: 0.78361
Test Done

使用CNN模型，实验结果如下：

Iter 0:

cost: 0.998
cost time: 137159.67 s
Test...
Accuracy: 0.68731
Test Done

Iter 1:

cost: 0.753
cost time: 72665.73 s
Test...
Accuracy: 0.7221
Test Done

Iter 2:

cost: 0.737
cost time: 68464.48 s
Test...
Accuracy: 0.75117
Test Done