reranker速度问题 about bcembedding HOT 6 OPEN

感谢您的反馈，如果我没理解错，您是用一个query对1000个passages进行rerank，然后取top 40是吗？以下是几点建议：
1、我们的bce-reranker-base_v1是base规模的bert模型，是市面上开源的最小reranker模型了；
2、根据我们的经验，利用onnxruntime部署reranker模型，就可以高并发低延迟；
3、关于使用的经验：reranker尽量不要去rerank 1000这么大量级的passages。一般我们实践经验，embedding最多召回top 100，reranker最多对这100个passage进行rerank就可以实现很好的性能，对1000做rerank，很多低质量passages浪费算力；
4、综合步骤2（onnxruntime+组batch+多进程多线程）+步骤3（最多rerank 100个embedding召回片段），可以在3090上单卡实现，对100 个passages做rerank不超过200 ms。

from bcembedding.

好的，感谢明白了。

from bcembedding.

有具体的实现教程吗，网上没看到转reranker转onnx的教程

from bcembedding.

感谢您的反馈，如果我没理解错，您是用一个query对1000个passages进行rerank，然后取top 40是吗？以下是几点建议： 1、我们的bce-reranker-base_v1是base规模的bert模型，是市面上开源的最小reranker模型了； 2、根据我们的经验，利用onnxruntime部署reranker模型，就可以高并发低延迟； 3、关于使用的经验：reranker尽量不要去rerank 1000这么大量级的passages。一般我们实践经验，embedding最多召回top 100，reranker最多对这100个passage进行rerank就可以实现很好的性能，对1000做rerank，很多低质量passages浪费算力； 4、综合步骤2（onnxruntime+组batch+多进程多线程）+步骤3（最多rerank 100个embedding召回片段），可以在3090上单卡实现，对100 个passages做rerank不超过200 ms。

请问有示例吗？

from bcembedding.

有没有测试例子？另外, passage 一般是多长的字符?

from bcembedding.

感谢您的反馈，如果我没理解错，您是用一个query对1000个passages进行rerank，然后取top 40是吗？以下是几点建议： 1、我们的bce-reranker-base_v1是base规模的bert模型，是市面上开源的最小reranker模型了； 2、根据我们的经验，利用onnxruntime部署reranker模型，就可以高并发低延迟； 3、关于使用的经验：reranker尽量不要去rerank 1000这么大量级的passages。一般我们实践经验，embedding最多召回top 100，reranker最多对这100个passage进行rerank就可以实现很好的性能，对1000做rerank，很多低质量passages浪费算力； 4、综合步骤2（onnxruntime+组batch+多进程多线程）+步骤3（最多rerank 100个embedding召回片段），可以在3090上单卡实现，对100 个passages做rerank不超过200 ms。

是否可以在cpu下运行达到这个速度呐

from bcembedding.