根据readme.md部署报错 [FT][ERROR] CUDA runtime error: invalid argument /opt/trito about lmdeploy HOT 7 CLOSED

python 的 tp 功能在 #82 中还没合入，可以尝试这个分支或者用 serving 的方式启动

from lmdeploy.

deepspeed --module lmdeploy.pytorch.chat /models/internlm-chat-7b --num_gpus 2 --max_new_tokens 64 --temperture 0.8 --top_p 0.95 --seed 0 通过deepspeed部署没有问题

from lmdeploy.

转换为turbomind支持多卡么 是否需要设置一些参数？我感觉这个错误应该和卡数量有关，在error的过程中显存都是一张卡上撑满的

from lmdeploy.

感谢你的回复，我使用评论中的 #82 对应的分支编译安装了下 现在可以分在两个显卡上运行了

但是通过python3 -m lmdeploy.serve.client {server_ip_addresss}:33337 internlm
这个命令去调用终端不会有任何输出，如下图

服务终端有如下输出

这可能是什么原因呀？

from lmdeploy.

@happened 和你现象一致，webui也是无任何输出

from lmdeploy.

@lzhangzz

from lmdeploy.

@Hiwyl 现在最新的main分支已经修复了 可以试下

from lmdeploy.