若你受够了生成式 AI“张口就来”的幻觉，又没时间把上百篇 PDF 逐页喂给模型，GeoGPT-RAG 给出了一个开箱即用的答案：把检索器放进大模型，让每一条回答都能追溯到具体段落，并在毫秒级时间内完成 1,800 万向量的语义搜索。

---

项目概述

GeoGPT-RAG 是由 GeoGPT Research Project 开源的“检索增强生成”（Retrieval-Augmented Generation）系统，专为地球科学场景设计。它在传统大模型之外并联了一套可热插拔的知识库——既包含 1,500 万条开放获取的地学论文与维基条目（公共库），也支持用户一键上传私有 PDF/书籍（私有库）。模型推理时，系统先检索、再重排、最后注入上下文，实现“问—搜—答”全链路可溯源。

---

问题背景

1. 地球科学文献更新快、专业门槛高，通用 LLM 难以回答细分领域问题。2. 传统微调方式需要重训模型，数据一更新就“过期”。3. 科研人员希望答案附带引用，方便复核与写作，但纯生成模型无法给出页码。

GeoGPT-RAG 用“即插即用”的 RAG 架构解决以上痛点：知识库可实时增删，模型参数不动也能“长”出新知识。

---

功能亮点

能力说明备注 公共知识库1,500 万向量，覆盖 5 万余篇开放获取地学论文、百科全书持续爬取、每月更新私有知识库用户上传 PDF，系统自动 OCR、分段、向量化支持按用户 ID 物理隔离语义分段基于 BERT-NSP 的“句间连贯度”模型，512 token 内保持语义完整比固定窗口减少 23% 断句错误多级重排向量粗排 + 交叉编码器精排，召回率提升 11%支持自定义阈值可追溯回答每段生成结果均返回来源文件名、页码、段落 ID一键定位原文混合云部署向量库使用 Zilliz Cloud，计算节点可本地/云端弹性伸缩毫秒延迟、百亿级向量可横向扩展

---

技术细节

• 双库双分片：公共库（geo_public）（15 M 向量）与私有库（geo_user）（3 M 向量）独立 Collection；私有库按 user_id 做 Partition，查询时自动过滤，避免跨用户数据泄露。• 分段算法：对长文本先 NLTK 句分割，再用 BERT-NSP 计算相邻句连贯概率，递归切至 ≤ 512 token，保证“段落”级语义完整性。• Embedding & Rerank：embedding 模型在 GeoScience-BERT 基础上继续自监督训练；rerank 使用 6 层 MiniLM，将 128 候选压缩至 5 最佳片段。• 在线链路：Query → 向量化 → 向量检索（top-128）→ 重排（top-5）→ Prompt 组装 → 大模型生成 → 返回答案+引用。• 批量入库：PDF → OCR → 布局分析 → 表格转 CSV → 关键段落识别（摘要、引言、结论）→ 异步向量化 → Zilliz Cloud。

---

安装与使用

1. 获取代码

git clone https://github.com/GeoGPT-Research-Project/GeoGPT-RAG.gitcd GeoGPT-RAG2. 一键启动（Docker Compose）

cp env.example .env# 填写 OPENAI_API_KEY 或本地 LLM 地址docker-compose up -d3. 访问 http://localhost:8501 即可上传 PDF、在线对话；API 端点在 http://localhost:8000/docs。4. 私有库查询（Python SDK）

from geogpt import Clientcli = Client(api_key="your_key")answer = cli.ask("How does slab rollback affect back-arc extension?", user_lib=True) # 仅查私有库print(answer.text, answer.citations)

---

应用案例

• 勘探报告写作：某省地质调查院将 200 份内部报告入库，工程师通过自然语言即可“问”出钻孔柱状图描述，平均节省 40% 文案时间。• 教学辅助：中国地质大学（武汉）在《构造地质学》课程中开放公共库，学生输入“走滑断层与拉分盆地关系”即刻获得带引用的答案，用于课后研讨。• 文献调研：新刊论文投稿前，作者用 GeoGPT-RAG 检查是否遗漏近三年相关研究，系统返回相似度最高的 10 篇文献并高亮差异。

---

项目地址

https://github.com/GeoGPT-Research-Project/GeoGPT-RAG

版权声明：本文转载于今日头条，版权归作者所有，如果侵权，请联系本站编辑删除