Comments (16)
Which PyTorch version do you use?
from latticelstm.
pip Install 0.4
from latticelstm.
Ok, you should read the readme file first. ThIs code need to be run under PyTorch 0.3
from latticelstm.
PyTorch 0.4 can not use PyTorch 0.3 's code...I see different the PyTorch 0.4 and PyTorch 0.3, so I try to run by PyTorch 0.3, Thanks
from latticelstm.
@jiesutd
Hi,
see Comments, I am confused, batch_size = 1, but total_batch is large, cost time is large. So where to accumulate?
from latticelstm.
Don’t understand your question.You can write your questions in Chinese.
from latticelstm.
@jiesutd 好吧!那就直接用中文了,这里为啥设置 batch_size = 1, 这样的话,对于每个 Epoch , 都是一个样本一个样本的训练,这样速度很慢吧!而看你的注释, 最近只支持 batch_size = 1 . 还有我跑完了 resume_ner 的结果,为啥是100个 Epoch 都跑完了?不应该是在中途满足某个结果,就中途退出的嘛(如果最好的值在100个Epoch以内的话)还有最终都跑完了,我怎样看是那个 Epoch 结果最好?感谢
from latticelstm.
第一个问题你已经看到了,目前不支持多batch 的训练。
第二个问题,现在的数据集一般都是有开发集 dev set, 然后最终结果是选择开发集最好的那次epoch. 但是MSRA没有,所以只能直接选择最好的测试集结果了。“中途满足结果就退出”,说的是early stop, 不是必须的,只是有的框架选择用有的没有用。我的这个就没有用early stop, 当然如果你想自己加进去其实也很简单。在MSRA 上一般就是在一定迭代次数内选test data的效果最高的作为最终结果(因为没有dev) 。迭代次数的选择50-100都差不多,因为后面基本也不涨了。
from latticelstm.
@jiesutd 对于第一个问题,请问为什么会导致不支持多 batch 训练, 将 batch 设置过大, 会出现效果有问题么?对于第二个问题,我是先使用的你提供的 ResumeNER 数据进行训练的, 既然你提到了MSRA数据,那训练此份数据的话,--dev 和 --test 参数对应的词典都是 测试集 路径了,还有一点,选择效果最高的指标,是看 F1 值么?
from latticelstm.
第一个问题,看这个issue #4
第二个问题,是看F1的值。
from latticelstm.
好的,感谢,对于第二个问题再问下,
对于训练 msra 的数据的话,只有 train 和 test , 于是你就这样训练么?
from latticelstm.
是的
from latticelstm.
好的,感谢!也会关注你的NCRFpp, 话说啥时候更新稳定,看一直在更新呀
from latticelstm.
现在就是稳定可用的,有空会一直更新的。
from latticelstm.
你好 我也遇到了这个 TypeError: mul() received an invalid combination of arguments - got (list)的问题 ,也是在pytorch0.4.0下运行的 请问你后来在 0.4.0下跑通了吗? @qichaotang
from latticelstm.
@Roshanson pytorch 0.4相比0.3变化很大,这份代码在0.4上跑需要修改很多细节
from latticelstm.
Related Issues (20)
- where is segmentation label embedding lookup table? HOT 2
- 作者您好, 我再提出一个问题, 关于代码中输入的数据的排序问题 HOT 3
- 想請問如果想使用其他的pretrain embedding,一定需要所有的embedding(char_emb 、 bichar_emb )嗎?
- About training time HOT 3
- 测试自己的数据 HOT 3
- TypeError: mul(): argument 'other' (position 1) must be Tensor, not list HOT 1
- RuntimeError: set_storage is not allowed on a Tensor created from .data or .detach(). HOT 4
- 关于遗忘门的计算:f = 1 - i
- Batch_size HOT 1
- 数据处理
- 您好!关于实验中的Ontonotes4数据是如何划分的呢?
- 按照pull requests中update修改,运行时报错
- 嵌入词的权重 HOT 6
- Data set ontonotes-4.0 HOT 1
- 请问为什么预测结果文件比输入的test文件少了一些句子呀? HOT 3
- 请教为什么输出的预测文件中数字全变成0啦? HOT 2
- 请教为什么输出的预测文件中数字全变成0啦? HOT 1
- data/model/saved_model.lstmcrf data/save.dset HOT 1
- 数据集问题 HOT 1
- 数据处理的时候代码是否有问题?
Recommend Projects
-
React
A declarative, efficient, and flexible JavaScript library for building user interfaces.
-
Vue.js
🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.
-
Typescript
TypeScript is a superset of JavaScript that compiles to clean JavaScript output.
-
TensorFlow
An Open Source Machine Learning Framework for Everyone
-
Django
The Web framework for perfectionists with deadlines.
-
Laravel
A PHP framework for web artisans
-
D3
Bring data to life with SVG, Canvas and HTML. 📊📈🎉
-
Recommend Topics
-
javascript
JavaScript (JS) is a lightweight interpreted programming language with first-class functions.
-
web
Some thing interesting about web. New door for the world.
-
server
A server is a program made to process requests and deliver data to clients.
-
Machine learning
Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.
-
Visualization
Some thing interesting about visualization, use data art
-
Game
Some thing interesting about game, make everyone happy.
Recommend Org
-
Facebook
We are working to build community through open source technology. NB: members must have two-factor auth.
-
Microsoft
Open source projects and samples from Microsoft.
-
Google
Google ❤️ Open Source for everyone.
-
Alibaba
Alibaba Open Source for everyone
-
D3
Data-Driven Documents codes.
-
Tencent
China tencent open source team.
from latticelstm.