文档全生命周期管理
一个文档从上传到最终能被检索到,中间要经历很多步骤。这个模块管的就是这整条链路:上传 → 解析 → 结构提取 → 分块策略推荐 → 分块执行 → 向量化 → 索引构建。
整个过程是异步的,通过 Kafka 消息驱动,不会阻塞用户的上传请求。
整体流水线
用户上传文件
↓
存储到 MinIO → 发送 Kafka 解析消息
↓
[异步] Tika 解析 → 结构提取 → Profile 生成 → 策略推荐
↓
用户确认/调整策略 → 发送 Kafka 索引消息
↓
[异步] 分块执行 → 向量化(PGVector) → 关键词索引(ES) → 导航索引 → 图投影(Neo4j)
文档管理入口
DocumentManageService / DocumentManageServiceImpl
包路径: org.javaup.ai.manage.service / org.javaup.ai.manage.service.impl
| 方法 | 说明 |
|---|---|
upload(file, dto) | 上传文件:存 MinIO、创建解析任务、发 Kafka 消息 |
queryDocumentPage(dto) | 分页查询文档列表 |
queryDocumentDetail(dto) | 查询文档详情 |
deleteDocument(dto) | 删除文档:清向量库、关键词索引、导航索引、图投影、Profile、分块、任务记录 |
queryStrategyPlan(dto) | 查询分块策略方案 |
confirmStrategy(dto) | 确认/调整分块策略 |
buildIndex(dto) | 触发索引构建:创建构建任务、发 Kafka 消息 |
queryDocumentChunks(dto) | 查询文档的分块列表 |
queryDocumentChunkDetail(dto) | 查询单个分块详情 |
queryTaskLogs(dto) | 查询任务日志 |
付费内容提示
该文档的全部内容仅对「码力全开」项目实战&技术讲解 知识星球用户开放
加入星球,一次获得完整项目资料、全栈技术知识库和长期答疑服务。
100万+字全栈技术知识库深入讲解技术核心、数据库、中间件和分布式等内容
8套热门的实战项目持续更新的企业级项目覆盖高并发、微服务、数据中台 和 AI Agent 等方向
AI 技术知识大模型面试详解覆盖 AI 模型原理、Agent、RAG、MCP、Skills、Harness 等核心知识点
文档 + 视频两种讲解形式既能系统阅读,也能跟随视频理解核心业务
完整项目实战资料
每套项目均包含从 0 到 1 讲解文档核心业务讲解视频从基础项目到复杂业务场景,项目资料会持续更新。
- 01Nexus Agent AI 智能体
- 02Nexus Agent Pro 完全版
- 03黑马点评Plus
- 04大麦
- 05大麦Pro
- 06大麦AI
- 07流量切换
- 08数据中台
加入后还能获得
进入星球后,即可享受上述所有服务,保证不会再有其他隐藏费用。从学习、面试到项目启动,都可以继续获得支持。
- 1 对 1 解答项目和技术问题都可以提问
- 针对性补充没有讲清楚的内容会继续补充
- 面试与简历指导梳理回答技巧和项目亮点
- 中间件云环境项目依赖可以直接接入使用
- 面试后复盘被问住的问题可以继续交流
- 远程问题解决项目启动问题可协助排查
