CCL2020,“小牛杯”幽默计算任务数据发布
任务说明参见CCL2020官方网站:http://cips-cl.org/static/CCL2020/humorcomputation.html
任务每个阶段的排名在该项目公布。
- 任务第一阶段持续10周(2020.6.15-2020.8.23)
在第一阶段,发布训练集和不带标签的开发集。
在第一阶段的每个周末,每个参赛队伍有一次提交开发集结果的机会,每周的结果排名会此处公布。
提交方式:
参赛队伍需要将包含结果文件的邮件发送至邮箱[email protected],邮件的标题为“CCL2020-参赛队名”,邮件附件为结果文件。
中英文数据结果各自形成一个csv文件,命名格式为:"en_参赛队名.csv"和"cn_参赛队名.csv"(分别对应英文测试集结果和中文测试集结果)
csv文件以无BOM的utf-8格式编码,分隔符使用逗号“,”,每行结尾的换行符为“\n"。需要包含测试集ID和预测的Lable,参照"answer_example.csv"文件。
- 任务第二阶段持续1周(2020.8.24-2020.8.30)
在第二阶段,发布测试集数据。
参赛队伍需在最终截止日期前提交完整测试集结果,每个队伍仅有一次提交机会。组织方将根据完整测试集上的得分对参赛队伍进行排名,同时该排名结果将会在CCL2020官方网站公布。
最终结果排名以第二阶段的测试集结果为准,第一阶段成绩不作为最终成绩,仅为参赛队伍迭代模型提供参考。
提交方式与第一阶段提交方式相同,每个队伍只有一次机会提交最终结果。
第一阶段第一周(6.15-6.21)接收到验证集结果提交2份,请参赛者将中文数据集结果和英文数据集结果分开提交,各自形成一个csv文件。
以下是第一周排名:
参赛队名 | 中文f1值 | 中文acc | 英文f1值 | 英文acc | 总分 |
---|---|---|---|---|---|
我们都队 | 0.457 | 0.700 | 0.417 | 0.722 | 2.30 |
cn_mAI@pumc | 0.466 | 0.742 | / | / | / |
第一阶段第二周(6.22-6.28)接收到验证集结果提交8份,请参赛者将中文数据集结果和英文数据集结果分开提交,各自形成一个csv文件。
以下是第二周排名:
参赛队名 | 中文f1值 | 中文acc | 英文f1值 | 英文acc | 总分 |
---|---|---|---|---|---|
Walking Dad | 0.507 | 0.739 | 0.489 | 0.755 | 2.490 |
BERT 4EVER | 0.517 | 0.719 | 0.463 | 0.744 | 2.443 |
哈哈哈 | 0.444 | 0.701 | 0.472 | 0.770 | 2.387 |
mAI@pumc | 0.462 | 0.736 | 0.410 | 0.745 | 2.345 |
我们都队 | 0.458 | 0.710 | 0.447 | 0.718 | 2.331 |
LastDance | 0.472 | 0.691 | 0.502 | 0.621 | 2.286 |
will | 0.000 | 0.749 | 0.324 | 0.728 | 1.802 |
好未来_AI_ML | 0.477 | 0.726 | \ | \ | \ |