embedding model最长只512的输入长度吗 about bcembedding HOT 9 CLOSED

embedding只支持512 tokens长度文本。
超长文本切片成不超过512的文本块

from bcembedding.

embedding只支持512 tokens长度文本。 超长文本切片成不超过512的文本块

谢谢解答，我也是想到了这个方案

from bcembedding.

@shenlei1020 还有个问题请教，这里代码是不是写的有点问题，按照报错解释query长度不能超过400的话应该是小于100吧

from bcembedding.

我看着没啥问题，你再看看

from bcembedding.

我看着没啥问题，你再看看

我还是没想通，根据代码max_passage_inputs_length = max_length - len(query_inputs['input_ids']) - 1不应该是len(query_inputs['input_ids'])越大这个值越小吗，比如query长500，值为11，query长400，值为111，query长300，值为211，那么下一句assert max_passage_inputs_length > 100, "Your query is too long! Please make sure your query less than 400 tokens!"不应该是小于100吗，query应该是要短一点给后面拼接留空间吧，还是我理解有误

from bcembedding.

你看看assert和if的区别，感觉对assert和if搞混了

from bcembedding.

你看看assert和if的区别，感觉对assert和if搞混了
还真是哈哈

from bcembedding.

rerank的时候注意到是按照batch size进行推理，如果构造的sentence_pairs不能整除batch size呢，代码里好像没看到这个处理，
https://github.com/netease-youdao/BCEmbedding/blob/master/BCEmbedding/models/reranker.py#L127

from bcembedding.

这个无所谓，python的基础，你测试一下就知道了

from bcembedding.