跳到主要内容

四种切块策略详解

上一篇我们看到，不管是父块还是子块，最终都会走到 executePipeline() 这个流水线执行引擎。这篇我们就深入这个引擎内部，逐个拆解结构切块、递归切块、语义切块、LLM 切块四种策略的完整实现。

先上一张四种策略的全景关系图：

策略全景与降级关系​

四种切块策略全景与降级关系
四种切块策略全景与降级关系
流水线串行 vs 降级

这张图里有两种说明。

串行：方案里配了哪些步骤，就按顺序依次执行，前一步的输出是后一步的输入。

降级：某种策略在执行过程中发现自己无法产出有效结果时，会自动退回到另一种策略兜底。这两种机制是独立的，降级发生在单个策略内部，不影响流水线的整体推进。

executePipeline：流水线执行引擎​

这是所有切块策略的调度中心。它接收一组候选块和一组有序的策略步骤，然后按顺序逐步执行，每一步的输出作为下一步的输入。

DocumentStrategyServiceImpl.java — executePipeline()

private List<ChunkCandidate> executePipeline(List<ChunkCandidate> sourceList,
                                             List<SuperAgentDocumentStrategyStep> orderedSteps,
                                             DocumentStrategyPipelineTypeEnum pipelineType) {
    // 进入流水线前先清洗一次输入，保证每一步面对的都是可用候选块。
    List<ChunkCandidate> currentChunks = cleanupChunkList(sourceList);
    for (SuperAgentDocumentStrategyStep step : orderedSteps) {
        DocumentStrategyTypeEnum strategyType = DocumentStrategyTypeEnum.getRc(step.getStrategyType());
        if (strategyType == null) {
            continue;
        }
        // 根据策略类型分派到对应切块器：结构、递归、语义、LLM。
        currentChunks = switch (strategyType) {
            case STRUCTURE -> applyStructureChunking(currentChunks, pipelineType);
            case RECURSIVE -> applyRecursiveChunking(currentChunks, pipelineType);
            case SEMANTIC -> applySemanticChunking(currentChunks, pipelineType);
            case LLM -> applyLlmChunking(currentChunks, pipelineType);
        };
        // 每一步执行完立刻清洗，保证下游步骤不会处理无效或重复块。
        currentChunks = cleanupChunkList(currentChunks);
    }
    return cleanupChunkList(currentChunks);
}

这个方法的设计非常简洁，但有几个关键点：

  1. 三次清洗：进入前清洗一次、每步执行后清洗一次、最终返回前再清洗一次。cleanupChunkList() 会去掉空文本块和重复块，保证每一步拿到的都是干净数据
  2. switch 分派：用 Java 17 的 switch 表达式按策略类型分派，四种策略各自独立实现，互不耦合
  3. 流水线语义：前一步的输出就是后一步的输入。比如方案配了"结构切块 → 递归切块"，那结构切块产出的章节块会作为递归切块的输入，递归切块再把超长的章节块切成更小的片段
  4. pipelineType 透传：父块流水线和子块流水线共用同一个引擎，通过 pipelineType 参数区分，各策略内部会根据这个参数选择不同的阈值（比如父块的 maxChars 通常比子块大）

付费内容提示

该文档的全部内容仅对「码力全开」项目实战&技术讲解 知识星球用户开放

加入星球，一次获得完整项目资料、全栈技术知识库和长期答疑服务。

100万+字全栈技术知识库深入讲解技术核心、数据库、中间件和分布式等内容
8套热门的实战项目持续更新的企业级项目覆盖高并发、微服务、数据中台 和 AI Agent 等方向
AI 技术知识大模型面试详解覆盖 AI 模型原理、Agent、RAG、MCP、Skills、Harness 等核心知识点
文档 + 视频两种讲解形式既能系统阅读，也能跟随视频理解核心业务

完整项目实战资料

每套项目均包含从 0 到 1 讲解文档核心业务讲解视频

从基础项目到复杂业务场景，项目资料会持续更新。

8 套项目
  • 01Nexus Agent AI 智能体
  • 02Nexus Agent Pro 完全版
  • 03黑马点评Plus
  • 04大麦
  • 05大麦Pro
  • 06大麦AI
  • 07流量切换
  • 08数据中台

加入后还能获得

进入星球后，即可享受上述所有服务，保证不会再有其他隐藏费用。

从学习、面试到项目启动，都可以继续获得支持。

  • 1 对 1 解答项目和技术问题都可以提问
  • 针对性补充没有讲清楚的内容会继续补充
  • 面试与简历指导梳理回答技巧和项目亮点
  • 中间件云环境项目依赖可以直接接入使用
  • 面试后复盘被问住的问题可以继续交流
  • 远程问题解决项目启动问题可协助排查
知识星球二维码

扫码进入知识星球

  1. 打开微信，扫描左侧二维码，加入「码力全开」项目实战&技术讲解 知识星球
  2. 查看星球使用指导，获取完整项目讲解资料索引
解锁全部付费内容
🎁优惠