有没有不用docker部署的方案 about lmdeploy HOT 7 CLOSED

你可以使用 lmdeploy/pytorch/chat.py

from lmdeploy.

我没说清楚，我想在机器上不用docker起一个docker里的那种api服务，然后用webui

from lmdeploy.

这里有个 dockerfile， 按内容把自己的设备配置一下。 https://github.com/InternLM/lmdeploy/blob/main/docker/Dockerfile

from lmdeploy.

安装过啥，dockerfile 里都写了。

from lmdeploy.

作为补充，tritonserver:22.12-py3这个镜像中已有环境配置并没有写在dockerfile中。

根据镜像对应的release文档可以看出它的运行环境、软件版本

也许会有帮助。

from lmdeploy.

@AllentDan app.py直接封装turbomind的python api吧，不再和triton Inference server交互了

from lmdeploy.

PR #162

from lmdeploy.