🔥 热搜 🔥
上海习近平新疆鄂州父女瓜乌鲁木齐疫情H工口小学生赛高习明泽芊川一笑图包印尼排华
分类
社会娱乐国际人权科技经济其它
🔥 热搜 🔥
上海习近平新疆鄂州父女瓜乌鲁木齐疫情H工口小学生赛高习明泽芊川一笑图包印尼排华
分类
社会娱乐国际人权科技经济其它
查看原文
其他

实时计算双星-Flink VS Spark 部署模式对比

大数据技术与架构 2021-10-21

大数据技术与架构点击右侧关注，大数据开发领域最强公众号！

暴走大数据点击右侧关注，暴走大数据！


本文主要对Flink和Spark集群的standalone模式及on yarn模式进行分析对比。Flink与Spark的应用调度和执行的核心区别是Flink不同的job在执行时，其task同时运行在同一个进程TaskManager进程中；Spark的不同job的task执行时，会启动不同的executor来调度执行，job之间是隔离的。

Standalone模式

Flink 和Spark均支持standalone模式（不依赖其他集群资源管理和调度）的部署，启动自身的Master/Slave架构的集群管理模式，完成应用的调度与执行。

  • Flink


  • Spark



On-yarn模式
Flink on Yarn 模式，其ApplicationMaster实现对JobManager的封装，作为该job的核心，完成executionGraph的生成，task的分发，运行结果的处理等；而YarnTaskManager则继承至TaskManager，完成task的运行。
Spark on Yarn 模式下，根据driver及业务逻辑运行的进程不同分为yarn-client和yarn-cluster模式。

Flink on Yarn

  • yarn-cluster模式

Yarn-cluster模式下，Flink提交应用至Yarn集群，类似MR job，运行完后结束

  • yarn-session模式

Yarn-session模式下，首先向Yarn提交一个长时运行的空应用，运行起来之后，后分别启动YarnApplicationMasterRunner/ApplicationMaster/JobManager，和N个YarnTaskManager/Container，但此时没有任务运行；
其他Flink客户端可通过制定ApplicationId的方式提交Flink Job到此JobManager,由该JobManager完成应用的解析和调度执行。

Spark on Yarn

Yarn-client和yarn-cluster的主要区别在于driver运行的进程不一样：
在yarn-client模式下，driver及业务代码逻辑运行在yarn client进程中，与applicationMaster及executor交互完成应用的调度和执行。
在Yarn-cluster模式下，应用提交至Yarn集群后，yarn client进程可以退出，driver及业务代码逻辑运行在applicationMaster进程中，与executor完成应用的调度执行。

  • Yarn-client

  • Yarn-cluster

Flink和Spark在On yarn模式下的各进程核心功能对比如下


欢迎点赞+收藏+转发朋友圈素质三连




文章不错？点个【在看】吧！ 👇

: ， . Video Mini Program Like ，轻点两下取消赞 Wow ，轻点两下取消在看

您可能也对以下帖子感兴趣

文章有问题？点此查看未经处理的缓存