跳到主要内容

异步索引构建：初始化与切块执行

上一篇我们看到，同步链路最后把消息丢进了 Kafka。这篇我们来看消费端拿到消息之后，到底做了什么——这才是索引构建的真正核心。

handleIndexBuild() 方法是整个异步链路的主控方法，它会串行推进多个阶段。这篇先讲前两个阶段：初始化和切块执行。先看一张全景图：

异步执行全景图​

异步索引构建全景图
异步索引构建全景图

阶段一：初始化​

方法一进来，先把三个核心数据拿到手：文档、任务、策略方案。任何一个缺失都直接退出。同时还会预先读取并排序策略步骤：

DocumentAsyncProcessServiceImpl.java — handleIndexBuild()

// 先取出索引构建链路必需的三类核心数据：文档、任务、策略方案。
// 任意一个缺失都说明这条异步消息已经失去执行基础，直接记录告警并退出。
SuperAgentDocument document = documentMapper.selectById(documentId);
SuperAgentDocumentTask task = taskMapper.selectById(taskId);
SuperAgentDocumentStrategyPlan plan = planMapper.selectById(planId);
if (document == null || task == null || plan == null) {
    log.warn("索引任务对应的数据不存在，documentId={}, taskId={}, planId={}",
        documentId, taskId, planId);
    return;
}

然后把任务推进到运行态，同时更新文档和策略步骤的状态：

DocumentAsyncProcessServiceImpl.java — listSteps()

private List<SuperAgentDocumentStrategyStep> listSteps(Long planId) {
    List<SuperAgentDocumentStrategyStep> stepList = stepMapper.selectList(
        new LambdaQueryWrapper<SuperAgentDocumentStrategyStep>()
            .eq(SuperAgentDocumentStrategyStep::getPlanId, planId)
            .eq(SuperAgentDocumentStrategyStep::getStatus, BusinessStatus.YES.getCode()));
    return stepList.stream()
        .sorted(Comparator
            .comparingInt((SuperAgentDocumentStrategyStep step) -> pipelineOrder(step.getPipelineType()))
            .thenComparing(SuperAgentDocumentStrategyStep::getStepNo)
            .thenComparing(SuperAgentDocumentStrategyStep::getId))
        .toList();
}

排序规则是：先父流水线、再子流水线；同一流水线内按 stepNo 升序，最后再按主键兜底。这样保证后续切块执行时步骤顺序是稳定的。

付费内容提示

该文档的全部内容仅对「码力全开」项目实战&技术讲解 知识星球用户开放

加入星球，一次获得完整项目资料、全栈技术知识库和长期答疑服务。

100万+字全栈技术知识库深入讲解技术核心、数据库、中间件和分布式等内容
8套热门的实战项目持续更新的企业级项目覆盖高并发、微服务、数据中台 和 AI Agent 等方向
AI 技术知识大模型面试详解覆盖 AI 模型原理、Agent、RAG、MCP、Skills、Harness 等核心知识点
文档 + 视频两种讲解形式既能系统阅读，也能跟随视频理解核心业务

完整项目实战资料

每套项目均包含从 0 到 1 讲解文档核心业务讲解视频

从基础项目到复杂业务场景，项目资料会持续更新。

8 套项目
  • 01Nexus Agent AI 智能体
  • 02Nexus Agent Pro 完全版
  • 03黑马点评Plus
  • 04大麦
  • 05大麦Pro
  • 06大麦AI
  • 07流量切换
  • 08数据中台

加入后还能获得

进入星球后，即可享受上述所有服务，保证不会再有其他隐藏费用。

从学习、面试到项目启动，都可以继续获得支持。

  • 1 对 1 解答项目和技术问题都可以提问
  • 针对性补充没有讲清楚的内容会继续补充
  • 面试与简历指导梳理回答技巧和项目亮点
  • 中间件云环境项目依赖可以直接接入使用
  • 面试后复盘被问住的问题可以继续交流
  • 远程问题解决项目启动问题可协助排查
知识星球二维码

扫码进入知识星球

  1. 打开微信，扫描左侧二维码，加入「码力全开」项目实战&技术讲解 知识星球
  2. 查看星球使用指导，获取完整项目讲解资料索引
解锁全部付费内容
🎁优惠