Comments (3)
找到原因了,是因为在训练那个逻辑回归模型时采用的特征不是Bert特征,是feature的第三的特征feature[2],这个特征是通过那个SogouLabDic.dic提取的entity mention词频,这个特征作用不大,而Bert特征是feature的最后一个,应该是feature[-1],还有一个点是训练集的负例样本应该按0.05比例来取,但是代码中好像为0.5,所以我将其改为了0.05
所以总该改了两个地方
1.GetData和GetData_train函数的feature[2]改为feature[-1]
2.GetData_train函数的if prop<0.5改为if prop<0.05
但还是发现一个问题,就是训练集对逻辑回归模型的训练似乎不起什么作用,因为我试着只改了GetData,即只改了验证集部分的特征,而GetData_train没有变,即训练集特征仍然是错误的特征,但是效果没有区别,不知道是什么原因
但是好在结果算是正常了,在这里也希望作者能够看到并更正一下,谢谢了!
from ccks2019-ckbqa-4th-codes.
您好,遇到与您一样的问题,也按照您上面建议的改了,验证集机上逻辑回归筛选后的top10召回率只有微弱提升,为0.34,其他结果都正常,如下:
tuple_filter.py代码其他地方无变动,不知是什么原因。
from ccks2019-ckbqa-4th-codes.
您好,遇到与您一样的问题,也按照您上面建议的改了,验证集机上逻辑回归筛选后的top10召回率只有微弱提升,为0.34,其他结果都正常,如下:
tuple_filter.py代码其他地方无变动,不知是什么原因。
一共有四处feature[2]需要更改,盲猜你是忘记改验证集那里了吧
from ccks2019-ckbqa-4th-codes.
Related Issues (20)
- 文本匹配模型的准确度?
- 请问 keras和keras-bert用的是什么版本? HOT 1
- neo4j的关系种类数限制是6.5w 请问你是怎么解决的
- 文本匹配模型中dev.csv的构造方式
- 文本匹配模型中dev.csv的构造方式
- 请问train_ner.py里面的corpus_train.pkl和corpus_valid.pkl是怎么得到的呢 HOT 1
- 第一次运行train_ner.py的时候,提示找不到../data/model/ner_model.h5/{saved_model.pbtxt|saved_model.pb} HOT 3
- 有关tuple_filter.py产生的结果指标,一项略低其余正常 HOT 1
- 您好,想问下similarity.py的tf版本和protobuf的版本应该是多少?很多属性值都失效了。 HOT 5
- neo4j查询慢的问题 HOT 3
- 请问pkubase-full.txt可以在哪下载 HOT 8
- tuple_filter.py文件SaveFilterCandiT函数运行error HOT 3
- 该方法是否后续发表论文了? HOT 2
- segment_dic.txt
- 请问双实体的部分没有代码实现吗? HOT 1
- 你好,tuple_filter.py用到的LR模型用到的特征,为什么只有len(mention)?bert_score等其他特征不用吗? HOT 1
- 大佬您好,请问CCKS2019电子病历命名实体识别的数据集有吗 HOT 5
- 请问作者和大家复现时各模块指标都是多少呀? HOT 8
- 内存炸了,大家都可以跑最后的answer_bot吗?
Recommend Projects
-
React
A declarative, efficient, and flexible JavaScript library for building user interfaces.
-
Vue.js
🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.
-
Typescript
TypeScript is a superset of JavaScript that compiles to clean JavaScript output.
-
TensorFlow
An Open Source Machine Learning Framework for Everyone
-
Django
The Web framework for perfectionists with deadlines.
-
Laravel
A PHP framework for web artisans
-
D3
Bring data to life with SVG, Canvas and HTML. 📊📈🎉
-
Recommend Topics
-
javascript
JavaScript (JS) is a lightweight interpreted programming language with first-class functions.
-
web
Some thing interesting about web. New door for the world.
-
server
A server is a program made to process requests and deliver data to clients.
-
Machine learning
Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.
-
Visualization
Some thing interesting about visualization, use data art
-
Game
Some thing interesting about game, make everyone happy.
Recommend Org
-
Facebook
We are working to build community through open source technology. NB: members must have two-factor auth.
-
Microsoft
Open source projects and samples from Microsoft.
-
Google
Google ❤️ Open Source for everyone.
-
Alibaba
Alibaba Open Source for everyone
-
D3
Data-Driven Documents codes.
-
Tencent
China tencent open source team.
from ccks2019-ckbqa-4th-codes.