04/29/2024 15:58:03 - [INFO] -BCEmbedding.models.RerankerModel->>> Loading

代码如下, 通过api调用重排. 在gpu模型下正常运行; 在gpu下面必现崩溃. <a href="https://g

使用gpu就会崩溃 about bcembedding HOT 4 CLOSED

netease-youdao commented on July 23, 2024

使用gpu就会崩溃

from bcembedding.

shenlei1020 commented on July 23, 2024

麻烦提供复现代码，这么描述没法帮忙解决。

from bcembedding.

zsinba commented on July 23, 2024

代码如下, 通过api调用重排.

在gpu模型下正常运行;
在gpu下面必现崩溃.
reranker_api.py.zip
代码可以直接运行, 我是打成镜像运行的. 结果一样.

镜像运行命令:
docker run -itd --privileged --restart=unless-stopped --name bce-reranker -p 8080:6006 imagename

from bcembedding.

zsinba commented on July 23, 2024

请问有进展吗?

from bcembedding.

zsinba commented on July 23, 2024

猜测原因:
打Docker镜像使用的Pytorch+CUDA版本跟宿主有差异,造成的CUDA调用时, Docker内和宿主不同.出现内存越界.

机器是Ubuntu20.04 , 按官方安装的CUDA版本比较低. 不太好升级.
制作镜像时,太低的CUDA版本配置的Pytorch又较低, 所以综合原因,应该就是镜像+Cuda版本造成的.

from bcembedding.