跳到主要内容

文档全生命周期管理

一个文档从上传到最终能被检索到,中间要经历很多步骤。这个模块管的就是这整条链路:上传 → 解析 → 结构提取 → 分块策略推荐 → 分块执行 → 向量化 → 索引构建。

整个过程是异步的,通过 Kafka 消息驱动,不会阻塞用户的上传请求。

整体流水线

用户上传文件

存储到 MinIO → 发送 Kafka 解析消息

[异步] Tika 解析 → 结构提取 → Profile 生成 → 策略推荐

用户确认/调整策略 → 发送 Kafka 索引消息

[异步] 分块执行 → 向量化(PGVector) → 关键词索引(ES) → 导航索引 → 图投影(Neo4j)

文档管理入口

DocumentManageService / DocumentManageServiceImpl

包路径: org.javaup.ai.manage.service / org.javaup.ai.manage.service.impl

方法说明
upload(file, dto)上传文件:存 MinIO、创建解析任务、发 Kafka 消息
queryDocumentPage(dto)分页查询文档列表
queryDocumentDetail(dto)查询文档详情
deleteDocument(dto)删除文档:清向量库、关键词索引、导航索引、图投影、Profile、分块、任务记录
queryStrategyPlan(dto)查询分块策略方案
confirmStrategy(dto)确认/调整分块策略
buildIndex(dto)触发索引构建:创建构建任务、发 Kafka 消息
queryDocumentChunks(dto)查询文档的分块列表
queryDocumentChunkDetail(dto)查询单个分块详情
queryTaskLogs(dto)查询任务日志

付费内容提示

该文档的全部内容仅对「JavaUp项目实战&技术讲解」知识星球用户开放

加入星球后,你可以获得:

  • 超级八股文:100万+字的全栈技术知识库,涵盖技术核心、数据库、中间件、分布式等深度剖析的讲解
  • 讲解文档:超级AI智能体、黑马点评Plus、大麦、大麦pro、大麦AI、流量切换、数据中台的从0到1的详细文档
  • 讲解视频:超级AI智能体、黑马点评Plus、大麦、大麦pro、大麦AI、流量切换、数据中台的核心业务详细讲解
  • 1 对 1 解答:可以对我进行1对1的问题提问,而不仅仅只限于项目
  • 针对性服务:有没理解的地方,文档或者视频还没有讲到可以提出,本人会补充
  • 面试与简历指导:提供面试回答技巧,项目怎样写才能在简历中具有独特的亮点
  • 中间件环境:对于项目中需要使用的中间件,可直接替换成我提供的云环境
  • 面试后复盘:小伙伴去面试后,如果哪里被面试官问住了,可以再找我解答
  • 远程的解决:如果在启动项目遇到问题,本人可以帮你远程解决
进入星球后,即可享受上述所有服务,保证不会再有其他隐藏费用。
知识星球二维码

1. 打开微信 -> 扫描左侧二维码 -> 加入「JavaUp项目实战&技术讲解」知识星球

2. 查看星球使用指导,获取完整项目讲解资料索引

👉 点击解锁全部付费内容
🎁优惠