此项目是试题知识点标注。属于多标签文本分类任务。

这里使用TextCNN， Transformer-Encoder等实现多标签分类模型。

数据集包含高中4个科目的题目，每门科目下又有不同的主题。如：历史-古代史(1000) 括号内的数字表示这个主题有1000道题目，总共有29000多道题目。同时，每道题目有许多知识点，如下：

项目框架

│─data
│   │─data.rar  # 数据集，包括停词
│   
│─textcnn  
│─transformer-encoder
│

首先需要解压原始数据集data.rar。

数据的预处理在transformer-encoder的训练代码中(train.ipynb)，处理后的数据会保存在train_data.pkl中。
多标签数据的构建使用torchtext。

为了测试多标签分类的效果，这里只使用了题目中列出的知识点，并且删除了出现次数少于样本1%的知识点，所以剩下73个知识点。 具体可到相关目录查看相关处理程序及模型。 其中[sgns.sogou.char]使用了sogou的预训练向量可从这里下载(https://github.com/Embedding/Chinese-Word-Vectors)。

要求：

• requirement.txt

参考：

• https://github.com/jiangnanboy/intent_classification
• https://github.com/Light2077/Text-Classification

contact

如有搜索、推荐、nlp以及大数据挖掘等问题或合作，可联系我：

1、我的github项目介绍：https://github.com/jiangnanboy

2、我的博客园技术博客：https://www.cnblogs.com/little-horse/

3、我的QQ号:2229029156