在3090上用cuda跑，在agent的run函数中添加了打印结果和显示时间的代码

generate prompt and call llm

prompt = self.prompt_generator.generate(llm_result, exec_result) start = time.time() llm_result = self.llm.generate(prompt) end = time.time() print(f"===llm_result: {llm_result}, time: {end-start}")

结果发现生成下面几个字符都要20s时间。 ===llm_result: 明天杭州的天气预计是晴天，需要注意防晒哦。, time: 20.340392589569092

性能这么慢不正常吧，完全没法使用，请问可能是什么原因导致。 另外flash_attn安装成功，但是rms_norm 和rotary两个库没有编成功，编译的时候一直卡住。

这个推理时间确实有点异常，可能是环境问题，你这边直接使用modelscope对应模型的pipeline推理需要多久呢，比如这个：

https://modelscope.cn/models/damo/ModelScope-Agent-7B/summary

from modelscope-agent.