腾讯格式的权重转换成HF格式的转换脚本在哪里？ about linly HOT 12 OPEN

1. Tencent -> Llama

convert_tencentpretrain_to_llama.py

2. Llama -> Huggingface

convert_llama_weights_to_hf.py
我理解的路径应该是这样

from linly.

同样的问题

from linly.

TencentPretain
scripts

from linly.

TencentPretain scripts

这个仓库下面，似乎没找到llama tencentpretrain格式到huggingface格式的转换脚本

from linly.

转llama的时候，layer_num参数怎么设置，是用默认（12层）么？

from linly.

from linly.

期待作者给出 ChatLLaMA-zh-7B 到 ChatLLaMA-zh-7B-hf的转换脚本,在线等

from linly.

期待作者给出 ChatLLaMA-zh-7B 到 ChatLLaMA-zh-7B-hf的转换脚本,在线等

其实能直接转llama我很合用，因为我是用llama.cpp

from linly.

转llama的时候，layer_num参数怎么设置，是用默认（12层）么？

自己回答自己的问题。7B的模型是32层，13B的模型是40层。
如有错误请大家指正。

from linly.

转成huggingface后效果咋样，会有损失吗？

from linly.

@riverzhou
请问llama.cpp你是如何运行的？

from linly.

@riverzhou 请问llama.cpp你是如何运行的？

先用 TencentPretrain 项目里的转换脚本把作者的腾讯格式的数据转成原始的 llama 的格式（layer_num参数：7B的模型是32层，13B的模型是40层。），
再用 llama.cpp 项目里 转换脚本转成 ggml 的格式，
最后，可选做量化，Q4 Q5 Q8都可以。

from linly.