Mac使用MPS加速，第二轮对话时程序会报错退出。 about rwkv-runner HOT 10 CLOSED

顺利通过了，跪谢作者！🎉

关联问题请教：

WebGPU 相较于 MPS，在macOS中的性能，差异非常大吗？
（因为我感觉到，WebGPU的速度非常的快，似乎和MPS没有差异）

from rwkv-runner.

V5 MPS有点问题, 可以先用WebGPU或者 WebGPU(Python)

from rwkv-runner.

V5 MPS有点问题, 可以先用WebGPU或者 WebGPU(Python)

需要先转换模型吗？
关于WebGPU的依赖，似乎没找到文档，我还没摸明白，求教。

from rwkv-runner.

普通WebGPU可以直接转换并使用, 已经内置了转换和执行工具

from rwkv-runner.

普通WebGPU可以直接转换并使用, 已经内置了转换和执行工具

使用内置转换工具，将 .pth 转换为 .st 后，使用WebGPU 或 WebGPU（Python）运行报错：

切换模型失败 - {"detail":"failed to load: web_rwkv_py not found, install it from https://github.com/cryscan/web-rwkv-py"}

from rwkv-runner.

你截图这个是 WebGPU (Python)的报错, 这个模式windows开箱即用, 但是mac要手动安装 https://github.com/cryscan/web-rwkv-py

如果你不知道怎么安装, 可以用普通的, WebGPU模式, 这个模式有什么报错吗

你截图这个状态, 再点一下运行

from rwkv-runner.

你截图这个是 WebGPU (Python)的报错, 这个模式windows开箱即用, 但是mac要手动安装 https://github.com/cryscan/web-rwkv-py

如果你不知道怎么安装, 可以用普通的, WebGPU模式, 这个模式有什么报错吗

你截图这个状态, 再点一下运行

如图，此为选择“WebGPU”的运行情况。

from rwkv-runner.

先把所有终端关了, 因为占着端口, 服务启动不起来

from rwkv-runner.

WebGPU模式是cryscan自己写的wgsl算子: https://github.com/cryscan/web-rwkv/blob/main/src/shaders
在mac下使用metal的计算着色器

而MPS模式目前调用普通的pytorch API实现, 实现的相对随便一点?

Metal和MPS实现孰优孰劣不好说: https://github.com/pytorch/pytorch/issues/86076

from rwkv-runner.

WebGPU模式是cryscan自己写的wgsl算子: https://github.com/cryscan/web-rwkv/blob/main/src/shaders 在mac下使用metal的计算着色器

而MPS模式目前调用普通的pytorch API实现, 实现的相对随便一点?

Metal和MPS实现孰优孰劣不好说: https://github.com/pytorch/pytorch/issues/86076

非常感谢，我去阅读了解。
我将Close这个主题。

from rwkv-runner.