本地问答知识库的问题 about langchain-chinese-getting-started-guide HOT 8 OPEN

我电脑里有100万个pdf，然后按照操作说明，把csv形式的书名+作者+出版日期的内容加载了进去，然后进行提问，比如某某书名的作者是谁，回答还是胡说八道，是因为openai的token限制导致他实际没办法学到我给的百万级内容吗

大佬最后解决么，如何优化提升本地问答知识库精准度，太不稳定没办法落地

很抱歉，没有，只能让他做到知识库没有的不答，乱说还没有找到办法，目前小规模开源模型的幻觉和认知问题是没有办法提升精准度的，我目前最多试过了13b规模的，这也是受限于机器（金钱）问题，但是其实gpt4也不能说一定精准，同时我也认为至少一年内现商业化落地的前景比较暗淡

感谢大佬答复共勉，囤了8块V100打算研究下，边缘摸索一头雾水，寻找业务场景.

from langchain-chinese-getting-started-guide.

我猜可能是因为你给的这些里面有重复的，我猜的。因为其大概的原理是根据你的输入，去向量数据库里面找类似的内容，然后把这些内容告诉chatgpt，chatgpt在基于你给的这些内容来回答问题。

from langchain-chinese-getting-started-guide.

大佬最后解决么，如何优化提升本地问答知识库精准度，太不稳定没办法落地

from langchain-chinese-getting-started-guide.

我电脑里有100万个pdf，然后按照操作说明，把csv形式的书名+作者+出版日期的内容加载了进去，然后进行提问，比如某某书名的作者是谁，回答还是胡说八道，是因为openai的token限制导致他实际没办法学到我给的百万级内容吗

大佬最后解决么，如何优化提升本地问答知识库精准度，太不稳定没办法落地

from langchain-chinese-getting-started-guide.

我电脑里有100万个pdf，然后按照操作说明，把csv形式的书名+作者+出版日期的内容加载了进去，然后进行提问，比如某某书名的作者是谁，回答还是胡说八道，是因为openai的token限制导致他实际没办法学到我给的百万级内容吗

大佬最后解决么，如何优化提升本地问答知识库精准度，太不稳定没办法落地

很抱歉，没有，只能让他做到知识库没有的不答，乱说还没有找到办法，目前小规模开源模型的幻觉和认知问题是没有办法提升精准度的，我目前最多试过了13b规模的，这也是受限于机器（金钱）问题，但是其实gpt4也不能说一定精准，同时我也认为至少一年内现商业化落地的前景比较暗淡

from langchain-chinese-getting-started-guide.

from langchain-chinese-getting-started-guide.

切片问题，导致有些文本的上下文是混乱的，所有在用 embedding query 的方式去找相似性的内容，要么找不到，要么找到的重复内容太多。从两个方面入手吧，数据清理和数据整理，帮助切片的内容构建上下文。

from langchain-chinese-getting-started-guide.

如何获取知识库返回的相关性内容数据列表？

from langchain-chinese-getting-started-guide.