高级维度数据的采集
通过之前的章节详细讲解了基础维度数据的采集、计算、保存是如何执行的,以及将采集维度进行了升级:
时间维度:DAY(天) 升级到了 WEEK(周)
并将升级后的数据发送到Kafka,以及Kafka接收到消息的过程
本章开始讲解维度升级后的采集是如何执行的
处理规则业务
在之前的章节也讲了,kafka消费到了消息后,真正的执行逻辑是调用了RuleHandler#handle
方法来执行,它是每一次数据采集维度升级后的采集入口,所以要对它有一个比较深的印象
/**
* 处理规则业务逻辑
* */
public RuleHandleOutput handle(ParamTransfers paramTransfers){
//根据规则id查询指标信息
List<Metric> metricList = metricService.selectByRuleId(paramTransfers.getRuleId());
if (CollectionUtil.isEmpty(metricList)) {
return null;
}
TotalParamTransfers totalParamTransfers = new TotalParamTransfers(metricList, paramTransfers, null);
//根据规则的类型(采集 或者 查询)获取对应的数据处理器
DataHandler dataHandler =
dataHandlerContext.getDataHandler(paramTransfers.getRuleType().getCode());
if (Objects.isNull(dataHandler)){
return null;
}
//数据处理器执行
return dataHandler.dataHandle(totalParamTransfers);
}
由于此时的流程是时间采集维度升级后采集的过程,所以整个过程还是数据采集的类型下,所以dataHandler
的具体实现策略依然是GatherDataHandler
数据采集的处理器
数据采集的处理器
@Component
public class GatherDataHandler implements DataHandler {
@Autowired
private DataChainContext dataChainContext;
@Override
public RuleHandleOutput dataHandle(TotalParamTransfers totalParamTransfers){
//使用责任链进行数据的处理,包括:采集、计算、保存、升级维度等
dataChainContext.getDataChainHandler().executeChain(totalParamTransfers);
return null;
}
@Override
public Integer getRuleType() {
return RuleType.GATHER.getCode();
}
}
到这里相信小伙伴应该恍然大悟了吧,这不就又回到了责任链模式了吗!
没错!其实每一次的采集维度升级,包括:时间采集维度升级,类型采集维度升级,都要通过责任链进行采集
既然已经来到了责任链了,那么就还是从一个节点:采集节点(GatherDataChainHandler) 开始
采集节点(GatherDataChainHandler)
protected void handler(final TotalParamTransfers totalParamTransfers) {
ParamTransfers paramTransfers = totalParamTransfers.getParamTransfers();
//获取采集处理器 包括 基础维度和高级维度
//如果业务的维度是video,时间的维度是day,那么采集处理器就是基础维度,其他的都是高级维度
GatherHandler gatherHandler =
gatherHandlerContext.getGatherHandler(paramTransfers.getVideoDimensionType().getValue() + UNDER_LINE
+ paramTransfers.getRequestTime().getDateType().getValue());
if (Objects.isNull(gatherHandler)) {
return;
}
//采集数据
gatherHandler.doGather(totalParamTransfers);
}
在之前的章节讲解采集节点的执行时,因为当时执行的是采集最基础维度的数据,所以从gatherHandlerContext
获取到的gatherHandler
实际采集器是BaseGatherHandler
基础维度采集
那么到了现在执行的责任链,时间维度已经变成了WEEK,所以gatherHandler
实际采集器就不再是基础维度的,而是变成了高级维度采集器AdvancedGatherHandler