rerank模型部署和应用疑问 about bcembedding HOT 4 OPEN

关于部署：
1、embedding和reranker模型都可以在服务器部署，然后用户端访问算法服务api。
2、如果图简单省事，可以用BCEmbedding来推理，因为提前写好了很多处理逻辑，直接使用就行，效率和sentence-transformers和transformers应该不会有太大区别。如果要想做高性能服务，建议使用faster-transformer，tensorrt或onnx-runtime等框架。
3、embedding和reranker两个尽量都用gpu，cpu也能跑（device='cpu'），但cpu会比较慢。

from bcembedding.

感谢您的回复，了解了

from bcembedding.

关于部署： 1、embedding和reranker模型都可以在服务器部署，然后用户端访问算法服务api。 2、如果图简单省事，可以用BCEmbedding来推理，因为提前写好了很多处理逻辑，直接使用就行，效率和sentence-transformers和transformers应该不会有太大区别。如果要想做高性能服务，建议使用faster-transformer，tensorrt或onnx-runtime等框架。 3、embedding和reranker两个尽量都用gpu，cpu也能跑（device='cpu'），但cpu会比较慢。

要多大GPU显存才可以？ 8G可以吗？ 笔记本显卡可以跑起来吗

from bcembedding.

关于部署： 1、embedding和reranker模型都可以在服务器部署，然后用户端访问算法服务api。 2、如果图简单省事，可以用BCEmbedding来推理，因为提前写好了很多处理逻辑，直接使用就行，效率和sentence-transformers和transformers应该不会有太大区别。如果要想做高性能服务，建议使用faster-transformer，tensorrt或onnx-runtime等框架。 3、embedding和reranker两个尽量都用gpu，cpu也能跑（device='cpu'），但cpu会比较慢。

要多大GPU显存才可以？ 8G可以吗？ 笔记本显卡可以跑起来吗

我在本地运行的时候Embedding模型，batch_size = 512的情况下占用大约6Gb显存。Reranker我没有做过本地实验，不是很清楚，但是技术报告中说它有一个cross-encoder结构，处理文本间信息，我感觉可能占用显存会更大一点。

from bcembedding.