R2R本地部署教程:一条命令跑起你的私有AI文档系统
R2R本地部署教程一条命令跑起你的私有AI文档系统【免费下载链接】R2RSoTA production-ready AI retrieval system. Agentic Retrieval-Augmented Generation (RAG) with a RESTful API.项目地址: https://gitcode.com/GitHub_Trending/r2/R2RR2R 是一个面向私有场景的 AI 文档管理系统核心玩法是上传文档 本地大模型问答。做 R2R 本地部署之后你的资料全程不出内网也不产生任何 API 调用费用。下面带你从零跑起来。 先搞懂R2R能帮你做什么不堆功能看三个你马上会用到的场景把散落资料收进一个地方合同、论文、报告统一上传R2R 会自动切块、生成向量索引后面按内容检索而不是按文件名翻。对着自己的文档提问上传完成后直接在网页里聊天回答基于你的文档内容生成相当于一个只懂你资料的助手。整套系统跑在自己机器上数据库、文档存储、模型推理都在本地敏感资料不交给任何第三方服务。文档管理长这样上传、查看处理状态都在这里完成 部署前的3分钟检查对照下表确认环境全部满足再往下走检查项要求说明操作系统Windows 10 / macOS / LinuxWindows 下需开启 WSL2内存最低 8GB推荐 16GB本地跑模型主要吃内存Docker已安装 Docker Desktop 并处于运行状态R2R 各组件都靠它拉起磁盘预留 10GB 以上模型文件不小Docker Desktop 是图形化版的 Docker负责在后台以容器形式运行各个服务你不需要理解容器原理能打开并看到绿色小鲸鱼图标即可。 一条命令把R2R跑起来R2R Docker 部署的思路是仓库里自带的编排文件会一次性拉起数据库、文件存储、解析服务和 R2R 主服务。全部命令如下# 克隆仓库 git clone https://gitcode.com/GitHub_Trending/r2/R2R # 进入目录 cd R2R # 启动完整服务栈 docker-compose -f docker/compose.full.yaml up -d首次启动需要拉取多个镜像耐心等待几分钟。完成后浏览器打开http://localhost:7273看到登录界面就说明 R2R 私有化部署的服务栈已经就绪。如果你是想改源码做二次开发可以直接用 pnpm 在js/sdk目录下构建启动新手用 Docker 方式就够了。 让R2R接上本地大模型R2R 本身不带模型需要给它一个大脑。这里用 Ollama一个本地跑开源模型的托管工具 Llama 3.1 对话模型 mxbai-embed-large 嵌入模型把文本转成向量的组件是文档可检索的前提。# 下载对话模型 ollama pull llama3.1这一句把 R2R 用来回答问题的模型拉到本地。# 下载嵌入模型 ollama pull mxbai-embed-large这一句下载文档索引要用的向量化模型两个模型都来自仓库自带的 Ollama 预设配置见py/core/configs/ollama.toml。# 启动模型服务 ollama serve让 Ollama 在本地11434端口提供服务R2R 的容器会自动找到它。✅ 跑通你的第一次对话按这个清单操作走完就是完整的部署验证打开http://localhost:7273用系统默认账号adminexample.com登录。进入文档管理页上传一份测试文档比如py/core/examples/data/aristotle.txt。等待处理状态变为完成说明文档已被切块并建好索引。打开聊天界面问一个只有你这份文档才能答对的问题。回答引用了文档内容、Ollama 侧有请求日志即整条链路跑通。登录界面 常见问题速查症状原因与解法7272 / 7273 端口打不开端口被占用用netstat -ano \| findstr 7273找到进程或换一个端口再启动容器起不来Docker Desktop 没启动或 WSL2 未开启先让 Docker 恢复绿色状态再重试问答卡住或报模型错误ollama serve没跑或模型没下载完用ollama list确认两个模型都在回答被截断、上下文报错Ollama 默认上下文窗口只有 2048 token参考 官方本地部署文档 里的 Modelfile 方式把num_ctx调大到 16K本地这套系统让私有数据 免费推理第一次变得如此简单。跑通第一次对话后建议下一步去 配置总览文档 看看哪些行为可以按你的习惯调整。【免费下载链接】R2RSoTA production-ready AI retrieval system. Agentic Retrieval-Augmented Generation (RAG) with a RESTful API.项目地址: https://gitcode.com/GitHub_Trending/r2/R2R创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考