dongyuanxin / news-emotion Goto Github PK

求助：希望提供关于TF-IDF的时间复杂度降低的解决办法。

关于TF-IDF模型的实现在这里：news-emotion/operate_data.py的words2vec方法中。

可以清晰的看到，实现的代码中和其他方法相比，多了一个循环，时间复杂度变成原来的N倍。
由于目前没有相应的集群供我们使用，并且服务器跑1000个训练样本也很慢，所以暂时先取消tf-idf这中词向量的尝试，之后会再重新补上。

不少朋友Email我询问训练样本的事情，这里统一说明一下。

1. 来源：wisenews网站。
2. 分类：属于港股的新闻，数据库目前有80w＋的新闻文本。
   
3. 训练样本：从以上的80w+的新闻文本中挑选出的最新的1000条新闻，人工打标后交给模型训练。

由于项目需要，所以在公开的仓库没有上传打标的文本，之后会考虑上传训练用的全部文本，供同好使用。

在不过拟合的前提下，相信样本的打标的准确率是大家最期待的结果。那么，这里公布一下的1000个打标的数据模型，在留一验证后的准确率。

二分类

只是将新闻打标分为正极和负极，各路论文的常见分类。

三分类

将新闻文本分为正极、负极和中性三个类别。基本上，所有论文都尽力规避中性分类，但是，在现实中确是存在的问题。当然，在打标上，中性分类的标注也需要斟酌。就目前结果来看，三分类的效果可以接受。

一些说明

由于一些问题，这里先取消了tf-idf和svm及相关模型的组合，具体原因请移步bug Issues查看。（上面结果中，会有一行一列均为0）

做的不错，不过requirements.txt文档希望能补上

现在可以把训练数据集补上吗？