AnythingLLM 从零到上手3 条命令跑起私有文档问答助手【免费下载链接】anything-llmStop renting your intelligence. Own it with AnythingLLM. Everything you need for a powerful local-first agent experience项目地址: https://gitcode.com/GitHub_Trending/an/anything-llm想让模型基于自己的文档回答问题又不想让数据离开本机AnythingLLM 把文档导入 → 向量化 → 带着上下文聊天整条链路装进一个容器。克隆仓库、起容器、打开浏览器3 条命令就能拿到一个可对话的私有知识库本地和云端模型都能接。场景为什么需要这样一个东西两个很常见的诉求手头一堆 PDF、网页、代码仓库想让模型只基于这些内容回答而不是泛泛而谈数据敏感不想把文档传给第三方 API希望模型推理和存储都在自己掌控的机器上AnythingLLM 的做法是把文档切成块、转成向量存进向量库聊天时先检索再交给 LLM 生成带出处的回答。它自带默认向量库和默认嵌入模型不需要额外搭服务。它是什么适合谁一句话定位一个本地优先的文档问答 AI Agent一体化应用支持多用户和权限管理。典型场景说明个人知识库把自己的笔记、文档丢进去随时问答团队内部问答把 Confluence、代码仓库接入多人按权限使用本地模型实验配合 Ollama、LM Studio、LocalAI 跑完全离线问答云端私有部署Docker 镜像上 AWS、GCP、DigitalOcean数据不出自己的机房60 秒初见一条命令起服务最短路径是官方 Docker 镜像全程 3 步。第 1 步克隆仓库git clone https://gitcode.com/GitHub_Trending/an/anything-llm仓库里有构建镜像用的 Dockerfile 和配置示例先存到本地。第 2 步准备环境变量cd anything-llm/docker cp .env.example .env这一步把示例配置复制成.env里面预置了端口、向量库、模型等选项后面可改可不改。第 3 步构建并启动docker-compose up -d --build首次构建要拉基础镜像耐心等待。构建完成后Docker 会列出anythingllm容器处于运行状态这就是成功信号。第 4 步打开浏览器访问http://localhost:3001你应该看到 AnythingLLM 的登录/引导页面。看到它说明服务已经就绪。想完全跳过源码构建也可以直接docker pull mintplexlabs/anythingllm后按 docker/HOW_TO_USE_DOCKER.md 里的docker run命令运行数据目录挂载方式相同。动手前检查4 个前置条件按顺序确认每条都解释了为什么Docker 已安装整个应用跑在容器里没有 Docker 就没有最短路径至少 2GB 内存服务端要同时跑模型调用、向量检索和文档处理官方给出的最低建议值至少 10GB 磁盘文档、向量、下载的模型都会存在server/storage/目录随使用量增长一个可用的 LLM本地 Ollama 或任意云端 API 都行没有模型容器起来也无法对话另外记一个高频坑如果你接的是宿主机上的本地服务Ollama、LocalAI 等容器里不能写localhost。要用http://host.docker.internal:端口Linux 用172.17..0.1:端口否则连不上。启动后先做三件事1. 创建账号进入主界面首次访问 3001 端口后按引导创建账号。Docker 版支持多用户账号创建后即可在设置里管理权限。2. 接入模型必做入口在设置里的 LLM Preferences。选择提供商填 API Key 或本地服务地址选一个模型。云端路线OpenAI、Anthropic、DeepSeek 等填 Key 即可本地路线Ollama、LM Studio、LocalAI填host.docker.internal地址怎么算成功设置页的测试连接不报错模型列表里能看到你选的模型。3. 确认向量和嵌入可跳过默认组合是内置 LanceDB 向量库 内置嵌入模型开箱即用什么都不用配。只有当你已有 Pinecone、Qdrant、Chroma 等服务或想用 Ollama 的嵌入模型时才需要去对应设置项里改。第一次实战1 份 PDF 到 1 个回答目标从空白到一个带出处的答案。第 1 步建工作区。侧边栏新建一个 workspace工作区它是文档和聊天的隔离容器不同主题建议分开建。第 2 步导入 1 份 PDF。进入工作区后把 PDF 拖进上传区。文件会先由 collector 服务解析然后切块、向量化。看到文档出现在列表里且状态为就绪表示入库完成。第 3 步提问。在聊天框输入一个只能靠这份文档回答的问题例如某份产品手册里的具体参数。成功标准回答下方附了来源引用点引用能看到原文片段。出现引用说明检索链路完整不是模型在凭记忆瞎答。文档怎么导入一张表看全AnythingLLM 的导入入口在 UI 和 collector 里都有常见渠道如下扩展实现见 collector/utils/extensions/来源适用场景注意事项文件上传PDF、TXT、DOCX 等最常用的本地文档大文件解析需要等待进度条网页 URL文章、博客、公告页页面需可访问重 JS 页面可能抓不全YouTube 视频教程、会议录像依赖视频字幕/转录没字幕的内容无法入库Git 仓库RepoLoader把代码库变知识库适合团队内部代码问答网站深度抓取WebsiteDepth整个站点入库控制抓取深度避免抓爆对方站点Confluence / Paperless-ngx / Obsidian企业文档、本地笔记库需要对应服务可访问且填好凭据hotdir 目录用脚本批量投放文件文件落到collector/hotdir/后会被自动收集跑不起来时查这里现象最可能原因一行解决办法容器里连不上宿主机 Ollama容器内localhost指向容器自己地址改为http://host.docker.internal:11434Linux 用172.17.0.1远程服务器打开页面无法登录、模型显示离线前端 API 基址没指向真实 IP在frontend/.env.production加VITE_API_BASEhttp://IP:3001/api后重新构建容器起不来报端口冲突宿主机 3001 被占用把端口映射改成3002:3001再启动存储目录读不了、写不进容器 UID/GID 与宿主机用户不一致在.env里把UID、GID改成宿主机用户的值磁盘空间告警文档、向量、下载模型持续累积清理旧工作区确保磁盘保持在 10GB 以上的余量更多细节以 docker/HOW_TO_USE_DOCKER.md 的Common questions and fixes一节为准。下一步三个可以继续的动作 跑通第一个问答之后推荐按这个顺序走上生产读 BARE_METAL.md学习不用 Docker 的部署方式或直接用仓库里 cloud-deployments/ 提供的 AWS、GCP、DigitalOcean、Helm 模板一键上云。体验 Agent看 server/utils/agentFlows/了解无代码 Agent 流程是怎么执行的然后在界面里给自己的文档问答加上自动任务。给 Agent 一台机器仓库里的 open-computer/ 为 Agent 提供独立计算环境是 AnythingLLM 生态里比较有意思的延伸方向。云端部署成功后Outputs 面板会直接给出ServerIP和ServerURL把 URL 存进书签你的私有问答助手就正式上线了。【免费下载链接】anything-llmStop renting your intelligence. Own it with AnythingLLM. Everything you need for a powerful local-first agent experience项目地址: https://gitcode.com/GitHub_Trending/an/anything-llm创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考