涉及的技术环节有:实时采集、实时计算、实时下发。 实时下发的下游可能是:
批处理:
流处理:
实时计算需要不断的从 MQ 中读取采集的数据,然后处理计算后往 DB 里存储,在计算这层你无法感知到会有多少数据量过来、要做一些简单的操作(过滤、聚合等)、及时将数据下发。
传统的离线计算,从 DB(不限 MySQL,还有其他的存储介质)里面读取数据,该数据一般就是固定的(前一天、前一星期、前一个月),然后再做一些复杂的计算或者统计分析,最后生成可供直观查看的报表(dashboard)。
对于持续生成最新数据的场景,才用流数据处理是非常有利的。