【方法】构建基于文档的本地知识AI
Ollama:https://ollama.com
Ollama模型:https://ollama.com/library/
AnythingLLM:https://anythingllm.com/
思路:本地运行 Ollama 的模型,并将这些模型集成到 AnythingLLM 的GUI本地应用中。实现本地AI学习文档内容并根据文档内容应答。
- 下载Ollama程序,安装,运行,会有一个托盘小程序,然后命令行里
ollama help可以返回帮助内容不报错就是已经安装ok了。 - Ollama模型的网页下载相应的模型,比如llama3.1,选个小一些的模型(比如8b 4.7GB),找到拉取代码,比如
ollama run llama3.1,在命令行执行。执行完之后在命令行其实已经可以和该模型进行对话了。使用/bye退出对话。
- 下载安装AnythingLLM程序。
- 安装,运行,会让你选择使用的模型,在上面选那个羊驼(Ollama)即可。
- 进入程序后创建工作区,有上传和配置两个按钮

上传自己想让AI学习的文档内容 -> Move to WorkSpace ->Save and Embed,即可激活。文档需要能识别到文字内容。可以PDF、WORD、TXT之类的,图片类好像暂时不行。
然后在设置里配置仅返回学习到的内容。
- 测试询问文档里的问题,看是否回答正确。
【方法】构建基于文档的本地知识AI
https://eudonomia.eu.org/posts/574eb94.html