finetune训练多轮后，推理含英文的音频结果为空 about funasr HOT 4 CLOSED

我发现了问题。当前版本的funasr在处理训练集时，对于包含英文音频的label，程序会处理成乱码或者是tokens的结尾符"< unk >"，导致finetune训练后的模型对于包含英文的音频推理结果为空。

比如对于某音频
正确的label是：这个应该是就是目前来说的话IPTV的话是还是要另外付费的
当前funasr在训练时处理成："< unk >"或者是“嗯支好帐思一三三多物”

请问这个问题是不是我设置的finetune参数有问题，或者是config.yaml中的某个参数我没有修改正确？

from funasr.

补充：
调试发现是encoder的原因：

是否与config.yaml中的tokenizer: CharTokenizer参数相关，text2tokens这一步转化出了问题：

正则的规则出现了问题，对于英文的不处理，只处理包含数字和中文的：

以前的版本，正则化可以处理带字母的pattern = re.compile(r"([\u4E00-\u9FA5A-Za-z0-9])")，跟换后带英文的音频可以转化为token了

from funasr.

I have tested it. We would fix it soon.

from funasr.

Bugfix: https://github.com/alibaba-damo-academy/FunASR/blob/90bc3ad02eee3745188be3960036ae3e9e746049/funasr/tokenizer/char_tokenizer.py#L97

from funasr.