embedding、rerank模型加速推理 about bcembedding HOT 8 OPEN

感谢您的反馈～

1. 首先bce的两个模型都是bert base规模，比其他large规模的模型，效率高大约3倍；

2. 关于这两个模型高效推理，我们最近release出了一个版本（推理框架onnxruntime-gpu）：

• bce-embedding高效推理：https://github.com/netease-youdao/QAnything/blob/qanything-python/qanything_kernel/connector/embedding/embedding_onnx_backend.py

• bce-reranker高效推理（包含我们长passages精排方案，被一些其他开源项目采用）：https://github.com/netease-youdao/QAnything/blob/qanything-python/qanything_kernel/connector/rerank/rerank_onnx_backend.py

3. 如果在集成上述高效推理方案有任务问题，欢迎在此issue提出！

from bcembedding.

感谢您的反馈～

1. 首先bce的两个模型都是bert base规模，比其他large规模的模型，效率高大约3倍；
2. 关于这两个模型高效推理，我们最近release出了一个版本（推理框架onnxruntime-gpu）：

• bce-embedding高效推理：https://github.com/netease-youdao/QAnything/blob/qanything-python/qanything_kernel/connector/embedding/embedding_onnx_backend.py
• bce-reranker高效推理（包含我们长passages精排方案，被一些其他开源项目采用）：https://github.com/netease-youdao/QAnything/blob/qanything-python/qanything_kernel/connector/rerank/rerank_onnx_backend.py

3. 如果在集成上述高效推理方案有任务问题，欢迎在此issue提出！

感谢！这部分代码已经跑起来了，我发现推理的结果是不一样的，是因为模型转换丢失精度吗？

from bcembedding.

sentences = ["This is a test sentence.", "Another sentence for embedding."]


我进行了简单的测试，发现onnx 推理比SentenceTransformer还慢是为什么？

from bcembedding.

1、你的onnx模型是自己转的，还是直接下载我们开源的onnx模型？
2、如果是下载我们在qanything开源的onnx模型，是没问题的。注意是qanything最新放出来的embedding和reranker的onnx模型。
3、onnx和torch的结果稍许差异是正常的，看一下cos相似度是不是0.99，是的话就没问题。
4、推理慢的原因可能是：a、你的onnxruntime是cpu版本的，解决方案是先卸载onnxruntime，再pip install onnxruntime-gpu；b、确定onnxruntime-gpu的包是对的，用我们的推理代码，应该不会有问题的，注意看一下CUDAExecutionProvider是否成功。

from bcembedding.

1、你的onnx模型是自己转的，还是直接下载我们开源的onnx模型？ 2、如果是下载我们在qanything开源的onnx模型，是没问题的。注意是qanything最新放出来的embedding和reranker的onnx模型。 3、onnx和torch的结果稍许差异是正常的，看一下cos相似度是不是0.99，是的话就没问题。 4、推理慢的原因可能是：a、你的onnxruntime是cpu版本的，解决方案是先卸载onnxruntime，再pip install onnxruntime-gpu；b、确定onnxruntime-gpu的包是对的，用我们的推理代码，应该不会有问题的，注意看一下CUDAExecutionProvider是否成功。

感谢指导，已经定位到原因了，应该是是cuda libcublasLt.so.11的问题，导致只使用了CPU

from bcembedding.

快了3倍

from bcembedding.

余弦相似度： 0.9999987920724557

from bcembedding.

快了3倍

后面简单跑了下，平均快了将近20倍

from bcembedding.