NLPDataSet

大家好，我是刘聪NLP。

本项目为本人收集并整理的一些数据集，目前包括中文摘要数据集、中文片段抽取式阅读理解数据集（QA）、中文文本相似度数据集和中文NER数据集。

希望大家可以多多转发、多多start。

UpDate 06.16.2022

• 从网上收集数据，将CMeEE数据集、IMCS21_task1数据集、CCKS2017_task2数据集、CCKS2018_task1数据集、CCKS2019_task1数据集、CLUENER2020数据集、MSRA数据集、NLPCC2018_task4数据集、CCFBDCI数据集、MMC数据集、WanChuang数据集、PeopleDairy1998数据集、PeopleDairy2004数据集、GAIIC2022_task2数据集、WeiBo数据集、ECommerce数据集、FinanceSina数据集、BoSon数据集、Resume数据集、Bank数据集、FNED数据集和DLNER数据集等22个数据集进行整理清洗，构建一个较完善的中文NER数据集。
• 数据集清洗时，仅进行了简单地规则清洗，并将格式进行了统一化，标签为“BIO”。
• 处理后数据集详细信息，见数据集描述。
• 数据集由NJUST-TB一起整理。
• 由于部分数据包含嵌套实体的情况，所以转换成BIO标签时，长实体会覆盖短实体。

清洗及格式转换后的数据，下载链接如下：百度云
提取码：4sea

UpDate 01.06.2022

• 从网上收集数据，将DIAC2019、CCKS2018_Task3、LCQMC、AFQMC、GAIIC2021_Task3、THS2021、CHIP2019、SOHU_2021、COVID19、PAWSX、XF2021、Chinese-MNLI、Chinese-SNLI、Chinese-STS-B、OCNLI、PKU Paraphrase Bank等16个数据集进行整理清洗，构建一个较完善的中文文本匹配数据集。
• 数据集清洗主要包括：针对4个NLI数据集进行标签转换，STS-B数据集进行分数过滤，PKU复述数据集仅生成正标签。
• 处理后数据集详细信息，见数据集描述。
• 增加CINLID词语级匹配数据集。

清洗及格式转换后的数据，下载链接如下：百度云
提取码：rt6f

UpDate 08.03.2021

• 从网上收集数据，将DRCD、cmrc2018、chinese-squad、中医数据集、法研杯2019、莱斯杯机器阅读理解、疫情QA、WebQA、Dureader等9个数据集进行整理清洗，构建一个较完善的中文片段抽取式阅读理解数据集。
• 数据集清洗时，仅进行了简单地规则清洗，并将格式进行了统一化。
• 处理后数据集详细信息，见数据集描述

清洗及格式转换后的数据，下载链接如下：百度云
提取码：02ta

UpDate 01.02.2021

• 从网上收集数据，将清华新闻数据、搜狗新闻数据等新闻数据集，以及开源的一些摘要数据进行整理清洗，构建一个较完善的中文摘要数据集。
• 数据集清洗时，仅进行了简单地规则清洗。例如：清洗htlm标记、去除多余空字符、去除图片标记等。
• 处理后数据集详细信息，见数据集描述

数据集集合：百度云盘 提取码： 7am8

声明

本项目中整理的所有数据集，仅能用于学术研究，请勿用于商业。