circlepi / knowledge-driven-dialogue-lic2019 Goto Github PK

./seq2seq/outputs/20190511/valid/2019-5-1-transformer-8w_step_9000.pt seems missing. I hope it can be added, I hope it can be added,

./seq2seq/data/invalid_kg.json and ./seq2seq/outputs/20190511/valid/2019-5-1-transformer-8w_step_9000.pt seems missing. I hope it can be added, or could you tell me how to generate these files.

Moreover, I got an unrecognized arguments error when I tried to run preclean.py by using the default config.

usage: preclean.py [-h] [--log_file LOG_FILE]
                   [--raw_train_file RAW_TRAIN_FILE]
                   [--raw_dev_file RAW_DEV_FILE] [--save_dir SAVE_DIR]
                   [--raw_test_file RAW_TEST_FILE]
preclean.py: error: unrecognized arguments: --train_sample_file_save data/train_sample.txt --dev_sample_file_save data/dev_sample.txt --test_sample_file_save data/test_sample.txt --train_text_file_save data/train.src --dev_text_file_save data/dev.src --test_text_file_save data/test.src --train_topic_file_save data/train_topic.txt --dev_topic_file_save data/dev_topic.txt --test_topic_file_save data/test_topic.txt --train_tgt_file data/train.tgt --dev_tgt_file data/dev.tgt --test_tgt_file data/test.tgt

And it could be run successfully when I change ./seq2seq/config/preclean.yml as follow.

raw_train_file: "data/train.txt"
raw_dev_file: "data/dev.txt"
raw_test_file: "data/test.txt"
log_file: "outputs/log/log.txt"
save_dir: "data/"

Please check if your configuration is wrong or if I am missing any steps that cause this problem.

Thank you!

It's a good job, But the config file is missing in the answer sorting. I hope it can be added. Thanks.

As the title said, thanks.

src is : ['[Session-0] [CLS] [K-G] 托马斯 · 桑斯特 领域 明星 [K-G] 陈思宇 领域 明星 [K-G] 托马斯 · 桑斯特 评论 第一次 看到 这 孩子 是 在 《 真爱至上 》 ， 萌 翻 了 ， 现在 长大 了 气质 不错 [Goal-0] START 托马斯 · 桑斯特 陈思宇 [Goal-1] 托马斯 · 桑斯特 出生 日期 1990 - 5 - 16 [Goal-2] 陈思宇 出生 日期 1990 - 5 - 16', '[Session-0] [CLS] [K-G] 托马斯 · 桑斯特 领域 明星 [K-G] 陈思宇 领域 明星 [K-G] 托马斯 · 桑斯特 评论 第一次 看到 这 孩子 是 在 《 真爱至上 》 ， 萌 翻 了 ， 现在 长大 了 气质 不错 [Goal-0] START 托马斯 · 桑斯特 陈思宇 [Goal-1] 托马斯 · 桑斯特 出生 日期 1990 - 5 - 16 [Goal-2] 陈思宇 出生 日期 1990 - 5 - 16', '[Session-0] [CLS] 知道 外国 有 个 明星 长 得 很 萌 吗 ？ [Session-1] 这个 还 真 不知道 呢 ， 请问 是 谁 啊 ？ [K-G] 托马斯 · 桑斯特 血型 A型 [K-G] 托马斯 · 桑斯特 标签 口碑 很好 [K-G] 托马斯 · 桑斯特 获奖 移动迷宫_提名 _ ( 2015 ； 第17届 ) _ 青少年选择奖 _ 青少年选择奖 - 最佳 电影 火花 [K-G] 托马斯 · 桑斯特 性别 男 [K-G] 托马斯 · 桑斯特 职业 演员 [K-G] 托马斯 · 桑斯特 领域 明星 [K-G] 托马斯 · 桑斯特 星座 金牛座 [K-G] 托马斯 · 桑斯特 评论 第一次 看到 这 孩子 是 在 《 真爱至上 》 ， 萌 翻 了 ， 现在 长大 了 气质 不错 [K-G] 托马斯 · 桑斯特 主要成就 2004年 金卫星奖 年轻 男演员 奖 提名 [K-G] 托马斯 · 桑斯特 代表作 神秘博士第三季 [Goal-0] START 托马斯 · 桑斯特 陈思宇 [Goal-1] 托马斯 · 桑斯特 出生 日期 1990 - 5 - 16 [Goal-2] 陈思宇 出生 日期 1990 - 5 - 16', '[Session-0] [CLS] 知道 外国 有 个 明星 长 得 很 萌 吗 ？ [Session-1] 这个 还 真 不知道 呢 ， 请问 是 谁 啊 ？ [K-G] 托马斯 · 桑斯特 血型 A型 [K-G] 托马斯 · 桑斯特 标签 口碑 很好 [K-G] 托马斯 · 桑斯特 获奖 移动迷宫_提名 _ ( 2015 ； 第17届 ) _ 青少年选择奖 _ 青少年选择奖 - 最佳 电影 火花 [K-G] 托马斯 · 桑斯特 性别 男 [K-G] 托马斯 · 桑斯特 职业 演员 [K-G] 托马斯 · 桑斯特 领域 明星 [K-G] 托马斯 · 桑斯特 星座 金牛座 [K-G] 托马斯 · 桑斯特 评论 第一次 看到 这 孩子 是 在 《 真爱至上 》 ， 萌 翻 了 ， 现在 长大 了 气质 不错 [K-G] 托马斯 · 桑斯特 主要成就 2004年 金卫星奖 年轻 男演员 奖 提名 [K-G] 托马斯 · 桑斯特 代表作 神秘博士第三季 [Goal-0] START 托马斯 · 桑斯特 陈思宇 [Goal-1] 托马斯 · 桑斯特 出生 日期 1990 - 5 - 16 [Goal-2] 陈思宇 出生 日期 1990 - 5 - 16', '[Session-0] [CLS] 知道 外国 有 个 明星 长 得 很 萌 吗 ？ [Session-1] 这个 还 真 不知道 呢 ， 请问 是 谁 啊 ？ 是 托马斯 · 桑斯特 ， 颜值 太 高 了 。 [Session-2] 哦 ， 没 应 说过 呢 ， 你 能 给 大体 说说 么 ？ [K-G] 托马斯 · 桑斯特 标签 口碑 很好 [K-G] 托马斯 · 桑斯特 评论 第一次 看到 这 孩子 是 在 《 真爱至上 》 ， 萌 翻 了 ， 现在 长大 了 气质 不错 [Goal-0] START 托马斯 · 桑斯特 陈思宇 [Goal-1] 托马斯 · 桑斯特 出生 日期 1990 - 5 - 16 [Goal-2] 陈思宇 出生 日期 1990 - 5 - 16', '[Session-1] 这个 还 真 不知道 呢 ， 请问 是 谁 啊 ？ 是 托马斯 · 桑斯特 ， 颜值 太 高 了 。 [Session-2] 哦 ， 没 应 说过 呢 ， 你 能 给 大体 说说 么 ？ [K-G] 托马斯 · 桑斯特 标签 口碑 很好 [K-G] 托马斯 · 桑斯特 评论 第一次 看到 这 孩子 是 在 《 真爱至上 》 ， 萌 翻 了 ， 现在 长大 了 气质 不错 [Goal-0] START 托马斯 · 桑斯特 陈思宇 [Goal-1] 托马斯 · 桑斯特 出生 日期 1990 - 5 - 16 [Goal-2] 陈思宇 出生 日期 1990 - 5 - 16', '[Session-1] 这个 还 真 不知道 呢 ， 请问 是 谁 啊 ？ 是 托马斯 · 桑斯特 ， 颜值 太 高 了 。 [Session-2] 哦 ， 没 应 说过 呢 ， 你 能 给 大体 说说 么 ？ 给 你 大体 说说 ， 他 口碑 很好 的 ， 也 很 有 才华 ， 我们 国家 有 个 小 哥哥 跟 他 一样 都是 1990年5月16日 出生 的 。 [Session-3] 是 谁 啊 ？ [K-G] 托马斯 · 桑斯特 星座 金牛座 [K-G] 陈思宇 星座 金牛座 [K-G] 陈思宇 毕业 院校 北京电影学院 [K-G] 陈思宇 体重 65kg [K-G] 陈思宇 性别 男 [K-G] 陈思宇 职业 演员 [K-G] 陈思宇 领域 明星 [K-G] 托马斯 · 桑斯特 评论 第一次 看到 这 孩子 是 在 《 真爱至上 》 ， 萌 翻 了 ， 现在 长大 了 气质 不错 [Goal-0] START 托马斯 · 桑斯特 陈思宇 [Goal-1] 托马斯 · 桑斯特 出生 日期 1990 - 5 - 16 [Goal-2] 陈思宇 出生 日期 1990 - 5 - 16', '[Session-2] 哦 ， 没 应 说过 呢 ， 你 能 给 大体 说说 么 ？ 给 你 大体 说说 ， 他 口碑 很好 的 ， 也 很 有 才华 ， 我们 国家 有 个 小 哥哥 跟 他 一样 都是 1990年5月16日 出生 的 。 [Session-3] 是 谁 啊 ？ [K-G] 托马斯 · 桑斯特 星座 金牛座 [K-G] 陈思宇 星座 金牛座 [K-G] 陈思宇 毕业 院校 北京电影学院 [K-G] 陈思宇 体重 65kg [K-G] 陈思宇 性别 男 [K-G] 陈思宇 职业 演员 [K-G] 陈思宇 领域 明星 [K-G] 托马斯 · 桑斯特 评论 第一次 看到 这 孩子 是 在 《 真爱至上 》 ， 萌 翻 了 ， 现在 长大 了 气质 不错 [Goal-0] START 托马斯 · 桑斯特 陈思宇 [Goal-1] 托马斯 · 桑斯特 出生 日期 1990 - 5 - 16 [Goal-2] 陈思宇 出生 日期 1990 - 5 - 16']
tgt is : [' 知道 外国 有 个 明星 长 得 很 萌 吗 ？ ', ' 知道 外国 有 个 明星 长 得 很 萌 吗 ？ ', ' 是 托马斯 · 桑斯特 ， 颜值 太 高 了 。 ', ' 是 托马斯 · 桑斯特 ， 颜值 太 高 了 。 ', ' 给 你 大体 说说 ， 他 口碑 很好 的 ， 也 很 有 才华 ， 我们 国家 有 个 小 哥哥 跟 他 一样 都是 1990年5月16日 出生 的 。 ', ' 给 你 大体 说说 ， 他 口碑 很好 的 ， 也 很 有 才华 ， 我们 国家 有 个 小 哥哥 跟 他 一样 都是 1990年5月16日 出生 的 。 ', ' 陈思宇 ， 金牛座 的 ， 毕业 于 北京电影学院 。 ', ' 陈思宇 ， 金牛座 的 ， 毕业 于 北京电影学院 。 ']

如上，为什么有些conversation的句子不断重复呢？