如何支持多显卡 about jittorllms HOT 9 OPEN

如果您是单卡显存不够，您可以通过环境变量，限制最大内存消耗：https://github.com/Jittor/JittorLLMs#%E9%85%8D%E7%BD%AE%E8%A6%81%E6%B1%82%E4%BD%8E

如果您是想用不同的卡，设置环境变量device_id=x, x是您指定的显卡id

from jittorllms.

我们是想对接公司内部客服系统，所以想试试多显卡接线能力，设置device_id=0,1,2,3是不是就支持4显卡了？

from jittorllms.

device_id=0 api.py chatglm
device_id=1 api.py chatglm
device_id=2 api.py chatglm
device_id=3 api.py chatglm

您可能需要启动4个进程，然后每个进程使用不同的端口

from jittorllms.

修改端口代码在这里：https://github.com/Jittor/JittorLLMs/blob/main/api.py#L48
您可能需要改一下代码

from jittorllms.

能不能在一个api自动开多线程并加入自动调用空闲gpu的能力

from jittorllms.

谢谢

from jittorllms.

您可以自行开发这个功能，理论上几行代码就可以了，在api里面，启动一个multiprocess pool即可

from jittorllms.

device_id=0 api.py chatglm
device_id=1 api.py chatglm
device_id=2 api.py chatglm
device_id=3 api.py chatglm

您可能需要启动4个进程，然后每个进程使用不同的端口

这是启动了四个对话模型吧，如何让一个对话模型同时使用四张卡呢

from jittorllms.

请问支持模型deepspeed大模型分割到不同显卡吗？

from jittorllms.