Comments (14)
为什么我每次跑完都要一两天的时间呢?求大佬们帮忙
因为evaluation是在cpu上做的,试一下把evaluation放在gpu上以tensor的形式来做
from bert-chinese-text-classification-pytorch.
为什么我每次跑完都要一两天的时间呢?求大佬们帮忙
因为evaluation是在cpu上做的,试一下把evaluation放在gpu上以tensor的形式来做
谢谢大佬的回答。具体改法是不是把train_eval.py中.cpu()的地方改为.gpu()就可以了(gpu环境以及有了)?原文件里只说了训练时间:30分钟,也不知道怎么训练这么快的,哼😕(吐槽一下嘻嘻)
from bert-chinese-text-classification-pytorch.
为什么我每次跑完都要一两天的时间呢?求大佬们帮忙
因为evaluation是在cpu上做的,试一下把evaluation放在gpu上以tensor的形式来做谢谢大佬的回答。具体改法是不是把train_eval.py中.cpu()的地方改为.gpu()就可以了(gpu环境以及有了)?原文件里只说了训练时间:30分钟,也不知道怎么训练这么快的,哼(吐槽一下嘻嘻)
实际上这时候这个张量本身就是在GPU里面了,只要把cpu()去掉即可,并且要把原本允许ndarry作为参数的sklearn.metrics换为能够张量计算的方式。其他的都不用改。
true = (labels).data
predic = torch.max(outputs.data, 1)[1]
total = true.size(0)
correct = (predic == true).sum().item()
train_acc = correct / total
from bert-chinese-text-classification-pytorch.
为什么我每次跑完都要一两天的时间呢?求大佬们帮忙
因为evaluation是在cpu上做的,试一下把evaluation放在gpu上以tensor的形式来做谢谢大佬的回答。具体改法是不是把train_eval.py中.cpu()的地方改为.gpu()就可以了(gpu环境以及有了)?原文件里只说了训练时间:30分钟,也不知道怎么训练这么快的,哼(吐槽一下嘻嘻)
实际上这时候这个张量本身就是在GPU里面了,只要把cpu()去掉即可,并且要把原本允许ndarry作为参数的sklearn.metrics换为能够张量计算的方式。其他的都不用改。
true = (labels).data
predic = torch.max(outputs.data, 1)[1]
total = true.size(0)
correct = (predic == true).sum().item()
train_acc = correct / total
好的谢谢啦,我先试试看
from bert-chinese-text-classification-pytorch.
为什么我每次跑完都要一两天的时间呢?求大佬们帮忙
因为evaluation是在cpu上做的,试一下把evaluation放在gpu上以tensor的形式来做谢谢大佬的回答。具体改法是不是把train_eval.py中.cpu()的地方改为.gpu()就可以了(gpu环境以及有了)?原文件里只说了训练时间:30分钟,也不知道怎么训练这么快的,哼(吐槽一下嘻嘻)
实际上这时候这个张量本身就是在GPU里面了,只要把cpu()去掉即可,并且要把原本允许ndarry作为参数的sklearn.metrics换为能够张量计算的方式。其他的都不用改。
true = (labels).data
predic = torch.max(outputs.data, 1)[1]
total = true.size(0)
correct = (predic == true).sum().item()
train_acc = correct / total好的谢谢啦,我先试试看
昨晚睡前开始跑,已经跑了9个多小时了,一个epoch还没跑完,哭了/(ㄒoㄒ)/~~
from bert-chinese-text-classification-pytorch.
为什么我每次跑完都要一两天的时间呢?求大佬们帮忙
因为evaluation是在cpu上做的,试一下把evaluation放在gpu上以tensor的形式来做谢谢大佬的回答。具体改法是不是把train_eval.py中.cpu()的地方改为.gpu()就可以了(gpu环境以及有了)?原文件里只说了训练时间:30分钟,也不知道怎么训练这么快的,哼(吐槽一下嘻嘻)
实际上这时候这个张量本身就是在GPU里面了,只要把cpu()去掉即可,并且要把原本允许ndarry作为参数的sklearn.metrics换为能够张量计算的方式。其他的都不用改。
true = (labels).data
predic = torch.max(outputs.data, 1)[1]
total = true.size(0)
correct = (predic == true).sum().item()
train_acc = correct / total
老实说,你这个有点误导人,这部分只是算准确率,开销很小,放到CPU上算也问题不大,速度慢原因只能说GPU不行?
from bert-chinese-text-classification-pytorch.
为什么我每次跑完都要一两天的时间呢?求大佬们帮忙
因为evaluation是在cpu上做的,试一下把evaluation放在gpu上以tensor的形式来做谢谢大佬的回答。具体改法是不是把train_eval.py中.cpu()的地方改为.gpu()就可以了(gpu环境以及有了)?原文件里只说了训练时间:30分钟,也不知道怎么训练这么快的,哼(吐槽一下嘻嘻)
实际上这时候这个张量本身就是在GPU里面了,只要把cpu()去掉即可,并且要把原本允许ndarry作为参数的sklearn.metrics换为能够张量计算的方式。其他的都不用改。
true = (labels).data
predic = torch.max(outputs.data, 1)[1]
total = true.size(0)
correct = (predic == true).sum().item()
train_acc = correct / total老实说,你这个有点误导人,这部分只是算准确率,开销很小,放到CPU上算也问题不大,速度慢原因只能说GPU不行?
要看你数据集是什么,我之前跑一个很大的数据集,他这里面100个batch就会验证一次,验证的时候要对验证集所有的样本都做计算,那这样的验证频率下其实就很有影响了。我当时直接用源代码跑的时候要几小时,但是改完之后就只需要半小时不到了,所以我才会考虑这里的问题。
from bert-chinese-text-classification-pytorch.
为什么我每次跑完都要一两天的时间呢?求大佬们帮忙
因为evaluation是在cpu上做的,试一下把evaluation放在gpu上以tensor的形式来做谢谢大佬的回答。具体改法是不是把train_eval.py中.cpu()的地方改为.gpu()就可以了(gpu环境以及有了)?原文件里只说了训练时间:30分钟,也不知道怎么训练这么快的,哼(吐槽一下嘻嘻)
实际上这时候这个张量本身就是在GPU里面了,只要把cpu()去掉即可,并且要把原本允许ndarry作为参数的sklearn.metrics换为能够张量计算的方式。其他的都不用改。
true = (labels).data
predic = torch.max(outputs.data, 1)[1]
total = true.size(0)
correct = (predic == true).sum().item()
train_acc = correct / total老实说,你这个有点误导人,这部分只是算准确率,开销很小,放到CPU上算也问题不大,速度慢原因只能说GPU不行?
要看你数据集是什么,我之前跑一个很大的数据集,他这里面100个batch就会验证一次,验证的时候要对验证集所有的样本都做计算,那这样的验证频率下其实就很有影响了。我当时直接用源代码跑的时候要几小时,但是改完之后就只需要半小时不到了,所以我才会考虑这里的问题。
那这个新闻的数据集你跑了多久呢?感觉我改完之后没有变快很多,还是说是我CPU的问题?我CPU是i5-5200U的
from bert-chinese-text-classification-pytorch.
换了数据集肯定要改超参的,另外gpu不行的话确实会慢
from bert-chinese-text-classification-pytorch.
为什么我每次跑完都要一两天的时间呢?求大佬们帮忙
因为evaluation是在cpu上做的,试一下把evaluation放在gpu上以tensor的形式来做谢谢大佬的回答。具体改法是不是把train_eval.py中.cpu()的地方改为.gpu()就可以了(gpu环境以及有了)?原文件里只说了训练时间:30分钟,也不知道怎么训练这么快的,哼(吐槽一下嘻嘻)
并不是,你跑程序的时候看一下电脑或者服务器的gpu使用情况,跑的慢的原因应该是没用gpu跑
from bert-chinese-text-classification-pytorch.
那要怎样才能让它使用gpu来跑呢,我看了一下我的gpu几乎没有占用
from bert-chinese-text-classification-pytorch.
from bert-chinese-text-classification-pytorch.
为什么我每次跑完都要一两天的时间呢?求大佬们帮忙
因为evaluation是在cpu上做的,试一下把evaluation放在gpu上以tensor的形式来做谢谢大佬的回答。具体改法是不是把train_eval.py中.cpu()的地方改为.gpu()就可以了(gpu环境以及有了)?原文件里只说了训练时间:30分钟,也不知道怎么训练这么快的,哼(吐槽一下嘻嘻)
实际上这时候这个张量本身就是在GPU里面了,只要把cpu()去掉即可,并且要把原本允许ndarry作为参数的sklearn.metrics换为能够张量计算的方式。其他的都不用改。 true = (labels).data predic = torch.max(outputs.data, 1)[1] total = true.size(0) correct = (predic == true).sum().item() train_acc = correct / total
我像这样改完之后,gpu占用还是基本没有,还是把cpu给占满了,是哪里还有问题吗
from bert-chinese-text-classification-pytorch.
请问解决了么
from bert-chinese-text-classification-pytorch.
Related Issues (20)
- 怎么测试自己的数据 HOT 1
- Question about masked language model
- 如何改繁體訓練
- 训练的准确率过低 HOT 1
- python: can't open file 'D:\Bert-Chinese-Text-Classification-Pytorch-master\run.py': [Errno 2] No such file or directory
- 字向量维度是768吗
- 请问一下,模型跑出来的结果,只有准确率 丢失率等等这些吗?具体的每个句子的用bert进行分类的标签,在哪里可以看到呀? HOT 7
- OSError: Can't load the model for 'D:\Bert-Chinese-Text-Classification-Pytorch-master\THUCNews\saved_dicert.ckpt'. If you were trying to load it from 'https://huggingface.co/models', make sure you don't have a local directory with the same name. Otherwise, make sure 'D:\Bert-Chinese-Text-Classification-Pytorch-master\THUCNews\saved_dicert.ckpt' is the correct path to a di rectory containing a file named pytorch_model.bin, tf_model.h5, model.ckpt or flax_model.msgpack.
- 模型准确率 HOT 1
- 已经微调好的模型调用不了怎么办?只生成一个bert.ckpt文件
- 为什么预测的结果不太准呀?而且每预测一次,得到的分类结果不一样 HOT 5
- 我加载了微调之后的权重模型bert.ckpt用他来进行短文本预测 但是每次运行文件时的预测结果都会变化且预测效果不好 应该怎么解决呀?
- 请问在调用模型预测时 出现这个报错是为什么?且预测的结果不太准,跟这个报错有关系吗
- 请问有人使用ernie在自己数据集上做训练的时候loss无法下降,准确率上不来嘛?同样的数据bert很正常
- 词表下载链接好像不太对,无法下载 HOT 4
- 能否通过调接口的方式来进行训练,每次启动都要训练好久
- 小白想问下能否用这个代码训练Roberta模型
- 求大佬解答,按照词分割,具体怎么改
- 词表txt文件 HOT 2
- 长文本
Recommend Projects
-
React
A declarative, efficient, and flexible JavaScript library for building user interfaces.
-
Vue.js
🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.
-
Typescript
TypeScript is a superset of JavaScript that compiles to clean JavaScript output.
-
TensorFlow
An Open Source Machine Learning Framework for Everyone
-
Django
The Web framework for perfectionists with deadlines.
-
Laravel
A PHP framework for web artisans
-
D3
Bring data to life with SVG, Canvas and HTML. 📊📈🎉
-
Recommend Topics
-
javascript
JavaScript (JS) is a lightweight interpreted programming language with first-class functions.
-
web
Some thing interesting about web. New door for the world.
-
server
A server is a program made to process requests and deliver data to clients.
-
Machine learning
Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.
-
Visualization
Some thing interesting about visualization, use data art
-
Game
Some thing interesting about game, make everyone happy.
Recommend Org
-
Facebook
We are working to build community through open source technology. NB: members must have two-factor auth.
-
Microsoft
Open source projects and samples from Microsoft.
-
Google
Google ❤️ Open Source for everyone.
-
Alibaba
Alibaba Open Source for everyone
-
D3
Data-Driven Documents codes.
-
Tencent
China tencent open source team.
from bert-chinese-text-classification-pytorch.