用户工具

站点工具


flink_应用场景

这是本文档旧的修订版!


实时计算场景

  1. 实时数据存储。实时数据存储的时候做一些微聚合、过滤某些字段、数据脱敏,组建数据仓库,实时 ETL。
  2. 实时数据分析。实时数据接入机器学习框架(TensorFlow)或者一些算法进行数据建模、分析,然后动态的给出商品推荐、广告推荐
  3. 实时监控告警。金融相关涉及交易、实时风控、车流量预警、服务器监控告警、应用日志告警
  4. 实时数据报表。活动营销时销售额/销售量大屏,TopN 商品

实时计算技术实现

涉及的技术环节有:实时采集、实时计算、实时下发。 实时下发的下游可能是:

  • 告警方式(邮件、短信、钉钉、微信)
  • 存储(消息队列、DB、文件系统等)。监控大屏从存储里面查询数据,就可以看到实时数据。

批处理和流处理的区别

批处理:

  • 数据大小固定
  • 复杂操作
  • 需要一段时间

流处理:

  • 数据大小未知
  • 简单操作
  • 及时响应
flink_应用场景.1575274759.txt.gz · 最后更改: 2019/12/02 08:19 由 plough