跳到主要内容

高级维度数据的采集

通过之前的章节详细讲解了基础维度数据的采集、计算、保存是如何执行的，以及将采集维度进行了升级：

时间维度：DAY（天） 升级到了 WEEK（周）

并将升级后的数据发送到Kafka，以及Kafka接收到消息的过程

本章开始讲解维度升级后的采集是如何执行的

处理规则业务

在之前的章节也讲了，kafka消费到了消息后，真正的执行逻辑是调用了RuleHandler#handle方法来执行，它是每一次数据采集维度升级后的采集入口，所以要对它有一个比较深的印象

/**
 * 处理规则业务逻辑
 * */
public RuleHandleOutput handle(ParamTransfers paramTransfers){
    //根据规则id查询指标信息
    List<Metric> metricList = metricService.selectByRuleId(paramTransfers.getRuleId());
    if (CollectionUtil.isEmpty(metricList)) {
        return null;
    }
    TotalParamTransfers totalParamTransfers = new TotalParamTransfers(metricList, paramTransfers, null);
    //根据规则的类型（采集 或者 查询）获取对应的数据处理器
    DataHandler dataHandler =
            dataHandlerContext.getDataHandler(paramTransfers.getRuleType().getCode());
    if (Objects.isNull(dataHandler)){
        return null;
    }
    //数据处理器执行
    return dataHandler.dataHandle(totalParamTransfers);
}

由于此时的流程是时间采集维度升级后采集的过程，所以整个过程还是数据采集的类型下，所以dataHandler的具体实现策略依然是GatherDataHandler数据采集的处理器

数据采集的处理器

@Component
public class GatherDataHandler implements DataHandler {
    
    @Autowired
    private DataChainContext dataChainContext;
    
    
    @Override
    public RuleHandleOutput dataHandle(TotalParamTransfers totalParamTransfers){
        //使用责任链进行数据的处理，包括：采集、计算、保存、升级维度等
        dataChainContext.getDataChainHandler().executeChain(totalParamTransfers);
        return null;
    }
    
    @Override
    public Integer getRuleType() {
        return RuleType.GATHER.getCode();
    }
}

到这里相信小伙伴应该恍然大悟了吧，这不就又回到了责任链模式了吗！

没错！其实每一次的采集维度升级，包括：时间采集维度升级，类型采集维度升级，都要通过责任链进行采集

既然已经来到了责任链了，那么就还是从一个节点：采集节点（GatherDataChainHandler） 开始

采集节点（GatherDataChainHandler）

protected void handler(final TotalParamTransfers totalParamTransfers) {
    ParamTransfers paramTransfers = totalParamTransfers.getParamTransfers();
    //获取采集处理器 包括 基础维度和高级维度
    //如果业务的维度是video，时间的维度是day，那么采集处理器就是基础维度，其他的都是高级维度
    GatherHandler gatherHandler =
            gatherHandlerContext.getGatherHandler(paramTransfers.getVideoDimensionType().getValue() + UNDER_LINE
                    + paramTransfers.getRequestTime().getDateType().getValue());
    if (Objects.isNull(gatherHandler)) {
        return;
    }
    //采集数据
    gatherHandler.doGather(totalParamTransfers);
}

在之前的章节讲解采集节点的执行时，因为当时执行的是采集最基础维度的数据，所以从gatherHandlerContext获取到的gatherHandler实际采集器是BaseGatherHandler基础维度采集

那么到了现在执行的责任链，时间维度已经变成了WEEK，所以gatherHandler实际采集器就不再是基础维度的，而是变成了高级维度采集器AdvancedGatherHandler

付费内容提示

该文档的全部内容仅对「JavaUp项目实战&技术讲解」知识星球用户开放

加入星球后，你可以获得：

  • 超级八股文：100万+字的全栈技术知识库，涵盖技术核心、数据库、中间件、分布式等深度剖析的讲解
  • 讲解文档：黑马点评Plus、大麦、大麦pro、大麦AI、流量切换、数据中台的从0到1的550+详细文档
  • 讲解视频：黑马点评Plus、大麦、大麦pro、大麦AI、流量切换、数据中台的核心业务详细讲解
  • 1 对 1 解答：可以对我进行1对1的问题提问，而不仅仅只限于项目
  • 针对性服务：有没理解的地方，文档或者视频还没有讲到可以提出，本人会补充
  • 面试与简历指导：提供面试回答技巧，项目怎样写才能在简历中具有独特的亮点
  • 中间件环境：对于项目中需要使用的中间件，可直接替换成我提供的云环境
  • 面试后复盘：小伙伴去面试后，如果哪里被面试官问住了，可以再找我解答
  • 远程的解决：如果在启动项目遇到问题，本人可以帮你远程解决
进入星球后，即可享受上述所有服务，保证不会再有其他隐藏费用。
知识星球二维码

1. 打开微信 -> 扫描左侧二维码 -> 加入「JavaUp项目实战&技术讲解」知识星球

2. 查看星球使用指导，获取完整项目讲解资料索引

👉 点击解锁全部付费内容
🎁优惠