彻底了解大数据实时计算框架_flink
差别
这里会显示出您选择的修订版和当前版本之间的差别。
| 后一修订版 | 前一修订版上一修订版两侧同时换到之后的修订记录 | ||
| 彻底了解大数据实时计算框架_flink [2019/12/08 20:59] – 创建 plough | 彻底了解大数据实时计算框架_flink [2019/12/08 21:13] – [Flink 整体架构] plough | ||
|---|---|---|---|
| 行 28: | 行 28: | ||
| ===== Flink 整体架构 ===== | ===== Flink 整体架构 ===== | ||
| - | {{wiki:drsi9h.jpg}} | + | {{:pasted: |
| - | 从下至上： | + | |
| + | 从下至上： | ||
| - 部署：Flink 支持本地运行（IDE 中直接运行程序）、能在独立集群（Standalone 模式）或者在被 YARN、Mesos、K8s 管理的集群上运行，也能部署在云上。 | - 部署：Flink 支持本地运行（IDE 中直接运行程序）、能在独立集群（Standalone 模式）或者在被 YARN、Mesos、K8s 管理的集群上运行，也能部署在云上。 | ||
| - 运行：Flink 的核心是分布式流式数据引擎，意味着数据以一次一个事件的形式被处理。 | - 运行：Flink 的核心是分布式流式数据引擎，意味着数据以一次一个事件的形式被处理。 | ||
| - API：DataStream、DataSet、Table、SQL API。 | - API：DataStream、DataSet、Table、SQL API。 | ||
| - 扩展库：Flink 还包括用于 CEP（复杂事件处理）、机器学习、图形处理等场景。 | - 扩展库：Flink 还包括用于 CEP（复杂事件处理）、机器学习、图形处理等场景。 | ||
| + | |||
| + | ===== Flink 支持多种方式部署 ===== | ||
| + | {{: | ||
| + | Flink 是支持以 Standalone、YARN、Kubernetes、Mesos 等形式部署的。 | ||
| + | * Local：直接在 IDE 中运行 Flink Job 时则会在本地启动一个 mini Flink 集群 | ||
| + | * Standalone：在 Flink 目录下执行 bin/ | ||
| + | * YARN：YARN 是 Hadoop 集群的资源管理系统，它可以在群集上运行各种分布式应用程序，Flink 可与其他应用并行于 YARN 中，Flink on YARN 的架构如下： | ||
| + | {{: | ||
| + | * Kubernetes：Kubernetes 是 Google 开源的容器集群管理系统，在 Docker 技术的基础上，为容器化的应用提供部署运行、资源调度、服务发现和动态伸缩等一系列完整功能，提高了大规模容器集群管理的便捷性，Flink 也支持部署在 Kubernetes 上，在 GitHub 看到有下面这种运行架构的。 | ||
| + | {{: | ||
| + | |||
| + | 通常上面四种居多，另外还支持 AWS、MapR、Aliyun OSS 等。 | ||
彻底了解大数据实时计算框架_flink.txt · 最后更改: 2019/12/08 21:51 由 plough