Comments (8)
最新的transformer只需要输入目录,并且把名改成pytorch_model.bin
huggingface/transformers#1620 (comment)
from gpt2-chitchat.
最新的transformer只需要输入目录,并且把名改成pytorch_model.bin
huggingface/transformers#1620 (comment)
我想问一下,怎么把里面的词向量和词取出来。。。
from gpt2-chitchat.
最新的transformer只需要输入目录,并且把名改成pytorch_model.bin
huggingface/transformers#1620 (comment)我想问一下,怎么把里面的词向量和词取出来。。。
你用我图里面的代码读进模型,然后就可以使用huggingface/transformers的例子操作了
from gpt2-chitchat.
最新的transformer只需要输入目录,并且把名改成pytorch_model.bin
huggingface/transformers#1620 (comment)我想问一下,怎么把里面的词向量和词取出来。。。
你用我图里面的代码读进模型,然后就可以使用huggingface/transformers的例子操作了
我读进去了,但是不知道怎么取。。我就想把那个词向量搞出来,变成word[空格]embedding的格式,不好意思啊,可能问题有点弱智。。。
from gpt2-chitchat.
最新的transformer只需要输入目录,并且把名改成pytorch_model.bin
huggingface/transformers#1620 (comment)我想问一下,怎么把里面的词向量和词取出来。。。
你用我图里面的代码读进模型,然后就可以使用huggingface/transformers的例子操作了
我读进去了,但是不知道怎么取。。我就想把那个词向量搞出来,变成word[空格]embedding的格式,不好意思啊,可能问题有点弱智。。。
根据huggingface/transformers的例子就好了啊:
tokenizer = tokenizer_class.from_pretrained(pretrained_weights)
model = model_class.from_pretrained(pretrained_weights)
# Encode text
input_ids = torch.tensor([tokenizer.encode("Here is some text to encode", add_special_tokens=True)]) # Add special tokens takes care of adding [CLS], [SEP], <s>... tokens in the right way for each model.
with torch.no_grad():
last_hidden_states = model(input_ids)[0] # Models outputs are now tuples
这个repo是基于huggingface的。推荐你阅读huggingface/transformers这个库,首页就有Quick tour。
初学者,理解。
from gpt2-chitchat.
最新的transformer只需要输入目录,并且把名改成pytorch_model.bin
huggingface/transformers#1620 (comment)我想问一下,怎么把里面的词向量和词取出来。。。
你用我图里面的代码读进模型,然后就可以使用huggingface/transformers的例子操作了
我读进去了,但是不知道怎么取。。我就想把那个词向量搞出来,变成word[空格]embedding的格式,不好意思啊,可能问题有点弱智。。。
根据huggingface/transformers的例子就好了啊:
tokenizer = tokenizer_class.from_pretrained(pretrained_weights) model = model_class.from_pretrained(pretrained_weights) # Encode text input_ids = torch.tensor([tokenizer.encode("Here is some text to encode", add_special_tokens=True)]) # Add special tokens takes care of adding [CLS], [SEP], <s>... tokens in the right way for each model. with torch.no_grad(): last_hidden_states = model(input_ids)[0] # Models outputs are now tuples
这个repo是基于huggingface的。推荐你阅读huggingface/transformers这个库,首页就有Quick tour。
初学者,理解。
嗯,我知道这个,所以我如果要搞词向量出来,我就一个一个encode词么,我以为有那种直接取的操作。谢谢!!
from gpt2-chitchat.
最新的transformer只需要输入目录,并且把名改成pytorch_model.bin
huggingface/transformers#1620 (comment)我想问一下,怎么把里面的词向量和词取出来。。。
你用我图里面的代码读进模型,然后就可以使用huggingface/transformers的例子操作了
我读进去了,但是不知道怎么取。。我就想把那个词向量搞出来,变成word[空格]embedding的格式,不好意思啊,可能问题有点弱智。。。
根据huggingface/transformers的例子就好了啊:
tokenizer = tokenizer_class.from_pretrained(pretrained_weights) model = model_class.from_pretrained(pretrained_weights) # Encode text input_ids = torch.tensor([tokenizer.encode("Here is some text to encode", add_special_tokens=True)]) # Add special tokens takes care of adding [CLS], [SEP], <s>... tokens in the right way for each model. with torch.no_grad(): last_hidden_states = model(input_ids)[0] # Models outputs are now tuples
这个repo是基于huggingface的。推荐你阅读huggingface/transformers这个库,首页就有Quick tour。
初学者,理解。嗯,我知道这个,所以我如果要搞词向量出来,我就一个一个encode词么,我以为有那种直接取的操作。谢谢!!
额 ... 我明白你的意思是。BERT是动态语言模型,token对应的emb只是浅层的,过了这12层MHA的词向量才是准确的词向量。如果你想提取出最初的token对应的emb,这个理论上是可以直接提取的,你分析一下它的nn层有哪些,把第一层截取出来就行了。我没试过哦,加油!
from gpt2-chitchat.
最新的transformer只需要输入目录,并且把名改成pytorch_model.bin
huggingface/transformers#1620 (comment)我想问一下,怎么把里面的词向量和词取出来。。。
你用我图里面的代码读进模型,然后就可以使用huggingface/transformers的例子操作了
我读进去了,但是不知道怎么取。。我就想把那个词向量搞出来,变成word[空格]embedding的格式,不好意思啊,可能问题有点弱智。。。
根据huggingface/transformers的例子就好了啊:
tokenizer = tokenizer_class.from_pretrained(pretrained_weights) model = model_class.from_pretrained(pretrained_weights) # Encode text input_ids = torch.tensor([tokenizer.encode("Here is some text to encode", add_special_tokens=True)]) # Add special tokens takes care of adding [CLS], [SEP], <s>... tokens in the right way for each model. with torch.no_grad(): last_hidden_states = model(input_ids)[0] # Models outputs are now tuples
这个repo是基于huggingface的。推荐你阅读huggingface/transformers这个库,首页就有Quick tour。
初学者,理解。嗯,我知道这个,所以我如果要搞词向量出来,我就一个一个encode词么,我以为有那种直接取的操作。谢谢!!
额 ... 我明白你的意思是。BERT是动态语言模型,token对应的emb只是浅层的,过了这12层MHA的词向量才是准确的词向量。如果你想提取出最初的token对应的emb,这个理论上是可以直接提取的,你分析一下它的nn层有哪些,把第一层截取出来就行了。我没试过哦,加油!
好像这样就可以了。里面的29522是词的indx,如果那个vocab文件是按照indx排列的话,就可以生成我那个文件了。
model = BertModel.from_pretrained(model_path)
embeds = model.get_input_embeddings()
print(embeds)
input_idx = Variable(torch.LongTensor([29522]))
print(embeds(input_idx))
from gpt2-chitchat.
Related Issues (20)
- train.py报错ZeroDivisionError: division by zero HOT 6
- Uuuu
- 为什么要删除mmi的方法啊?效果不好吗?
- fine-tuning HOT 1
- README中的小错误,但是可能造成不必要的麻烦 HOT 3
- 请问断点续训是否是不支持的? HOT 1
- 有什么方法让已经训练好的模型去训练用户和bot的对话呢?
- 训练时的一些错误 HOT 1
- ignore_index 的设置 HOT 3
- 模型层数问题
- 训练代码逻辑问题 HOT 2
- 下载问题
- 网盘链接失效
- 想使用GPT2的微调来实现负样本的生成
- ZeroDivisionError: division by zero HOT 6
- padding mask
- 有关对预训练模型微调的问题
- dataset
- 新手求帮助啊,友友们
- 训练结果可视化
Recommend Projects
-
React
A declarative, efficient, and flexible JavaScript library for building user interfaces.
-
Vue.js
🖖 Vue.js is a progressive, incrementally-adoptable JavaScript framework for building UI on the web.
-
Typescript
TypeScript is a superset of JavaScript that compiles to clean JavaScript output.
-
TensorFlow
An Open Source Machine Learning Framework for Everyone
-
Django
The Web framework for perfectionists with deadlines.
-
Laravel
A PHP framework for web artisans
-
D3
Bring data to life with SVG, Canvas and HTML. 📊📈🎉
-
Recommend Topics
-
javascript
JavaScript (JS) is a lightweight interpreted programming language with first-class functions.
-
web
Some thing interesting about web. New door for the world.
-
server
A server is a program made to process requests and deliver data to clients.
-
Machine learning
Machine learning is a way of modeling and interpreting data that allows a piece of software to respond intelligently.
-
Visualization
Some thing interesting about visualization, use data art
-
Game
Some thing interesting about game, make everyone happy.
Recommend Org
-
Facebook
We are working to build community through open source technology. NB: members must have two-factor auth.
-
Microsoft
Open source projects and samples from Microsoft.
-
Google
Google ❤️ Open Source for everyone.
-
Alibaba
Alibaba Open Source for everyone
-
D3
Data-Driven Documents codes.
-
Tencent
China tencent open source team.
from gpt2-chitchat.