我们在采集业务数据时,要将增量表的数据从MySQL采集到hdfs,这时需要先做一个首日全量的采集过程,先将数据采集至Kafka中(方便后续进行实时处理),再将数据从Kafka采集到hdfs中。此时会出现零点漂移问题。(第一天接近24点的数...
我们在采集日志服务器的日志数据时,先将数据通过Flumel中转到Kafka中(方便后续实时处理),再通过Flume将数据采集至Hdfs。再将数据从Kafka采集到hdfs中。此时会出现零点漂移问题。(第一天接近24点的数据从Kafka流过被flume...