那个“用任何模型、在任何地方、跟任何文档聊天”的工具
你有没有想过，能不能把自己所有的文档——PDF、Word、Excel、代码库——全部喂给AI，然后像跟ChatGPT聊天一样，问它“上季度销售数据里哪个品类增长最快”，它直接给你答案，还告诉你是从哪份报告里找到的？
更关键的是，这一切完全在本地运行，数据不离开你的电脑。
AnythingLLM，就是为这个需求而生的。
它是什么？
AnythingLLM是一款全栈AI应用，它的核心定位可以用一句话概括：让你用任何大语言模型（LLM），构建一个私有的、功能完整的ChatGPT——没有任何妥协。
它支持你连接自己喜欢的本地或云端LLM（Ollama、OpenAI、Claude、Gemini、DeepSeek等），导入任意文档（PDF、Word、Excel、代码库、网页等），然后在一个干净的聊天界面里，与这些文档进行智能对话。
它的设计理念很明确：“停止租赁你的智能。用AnythingLLM拥有它。” 换句话说，它想让你把AI的控制权，从云端服务商那里拿回自己手里。
它核心解决什么问题？
你可能用过ChatGPT的“上传文件”功能，但它的本质是把文件内容塞进上下文窗口，而不是真正“理解”并长期存储这些文档。
AnythingLLM不一样。它内置了完整的 RAG（检索增强生成） 架构：
-
你导入文档后，系统会将其分块、向量化，存入本地的向量数据库。
-
你提问时，系统会从向量数据库中检索最相关的内容片段。
-
将这些片段作为上下文，连同你的问题一起发给LLM，生成带引用来源的回答。
这意味着：它不会胡编乱造，每一个答案都可以追溯到具体的文档和段落。
它能做什么？
✅ 支持任何模型，随时切换
你可以连接几乎所有的主流模型——OpenAI、Azure、AWS、Anthropic、Gemini、Groq，以及本地运行的Ollama模型。在对话过程中，你可以随时切换模型，对比不同模型的回答质量。
✅ 处理任何文档，无限量
支持PDF、Word文档、CSV、代码库、纯文本等几乎所有格式。你可以创建一个工作区（Workspace），把相关文档全部导入，然后在这个工作区内提问——就像给AI划定了一个“知识范围”。
✅ AI Agent与无代码构建器
AnythingLLM内置了AI代理（Agent） 功能，你可以通过无代码的代理构建器创建自定义Agent，完成自动化任务。v1.12.0版本还新增了文档生成代理，可以生成文本文件、PDF、Excel、Docx，甚至完整的PowerPoint演示文稿。
✅ 完全私有，数据不出门
AnythingLLM默认使用本地运行的LLM、嵌入模型、向量数据库和存储。你可以选择完全离线运行，不依赖任何云服务。你的文档和对话记录只存在于你自己的设备上。
✅ MCP协议兼容
最新版本支持MCP（模型上下文协议） 兼容性，可以自动检测并启动MCP服务器，在UI中直接管理。
✅ 多用户与团队协作
支持多用户环境，适合团队或企业部署。你可以通过Docker在服务器上托管，让团队成员共享同一个AI知识库。
它和Cherry Studio有什么不一样？
如果你还记得我之前介绍过的Cherry Studio，可能会觉得两者有点像——都是桌面客户端，都支持多模型。但它们的定位其实不太一样：
| 维度 | AnythingLLM | Cherry Studio |
|---|---|---|
| 核心定位 | 私有知识库 + RAG | 多模型聚合聊天 |
| 文档处理 | 内置完整RAG，文档永久存储、可检索 | 支持文档上传，但主要是临时上下文 |
| 部署方式 | Desktop + Docker（支持多用户、服务器托管） | 主要是Desktop客户端 |
| AI Agent | 内置无代码Agent构建器 | 基础Agent功能（Pro版） |
| 开源协议 | MIT开源 | 社区版开源 |
简单说：Cherry Studio更适合“在多个模型之间切换聊天”，AnythingLLM更适合“用AI深度理解和管理你的文档库”。
价格与获取方式
AnythingLLM是MIT开源协议，代码托管在GitHub上。你可以在GitHub搜索Mintplex-Labs/anything-llm找到源码和 releases 下载。
它提供Desktop版（Windows、macOS、Linux一键安装）和Docker版（适合服务器部署）。
完全免费，没有隐藏收费。唯一可能需要付费的场景是：如果你使用云端LLM（如OpenAI API），需要自行承担API调用费用。
谁适合用它？
如果你注重数据隐私：AnythingLLM的本地优先设计，可能是目前最彻底的私有化AI方案之一。你的文档、对话、向量数据库全部在本地。
如果你需要构建团队知识库：通过Docker部署，团队成员可以共享同一个AI知识库，提问时从共同的文档池中检索答案。
如果你想彻底摆脱云端依赖：配合Ollama使用本地模型，你可以实现完全离线运行，不依赖任何互联网服务。
如果你是开发者：MIT协议意味着你可以自由修改、二次开发、甚至商用。
如果你只是想把散落的文档变成一个可对话的AI知识库：它可能是目前门槛最低、功能最完整的工具之一。导入文档，选个模型，开始提问——就这么简单。
最后说几句
AnythingLLM在做的事情，本质上是在回答一个问题：“如果ChatGPT可以私有化部署，并且能深度理解你所有的文档，那会是什么样子？”
它不是“又一个AI聊天工具”，它是一个把你的文档变成可对话知识库的基础设施。无论你是想管理个人笔记、构建团队知识库，还是开发一个需要私有知识检索的AI应用，AnythingLLM都提供了一个值得认真评估的起点。
毕竟，你的数据应该属于你，而不是属于某个云服务商。