flink_应用场景
这是本文档旧的修订版!
实时计算场景
- 实时数据存储。实时数据存储的时候做一些微聚合、过滤某些字段、数据脱敏,组建数据仓库,实时 ETL。
- 实时数据分析。实时数据接入机器学习框架(TensorFlow)或者一些算法进行数据建模、分析,然后动态的给出商品推荐、广告推荐
- 实时监控告警。金融相关涉及交易、实时风控、车流量预警、服务器监控告警、应用日志告警
- 实时数据报表。活动营销时销售额/销售量大屏,TopN 商品
实时计算技术实现
涉及的技术环节有:实时采集、实时计算、实时下发。 实时下发的下游可能是:
- 告警方式(邮件、短信、钉钉、微信)
- 存储(消息队列、DB、文件系统等)。监控大屏从存储里面查询数据,就可以看到实时数据。
批处理和流处理的区别
批处理:
- 数据大小固定
- 复杂操作
- 需要一段时间
流处理:
- 数据大小未知
- 简单操作
- 及时响应
flink_应用场景.1575274759.txt.gz · 最后更改: 2019/12/02 16:19 由 plough