qindongliang1922 阅读(84) 评论(0)
Spark生态系统目前已经非常成熟了,有很多类型的任务都可以使用spark完成,我们先看下spark生态系统的组成:




 


spark的核心主要由3个模块组成:

(1)spark core 是spark的最底层的编程实现,定义了许多的函数及方法,是所有spark组件的基础依赖

(2)spark ecosystems 是spark里面的一些高级组件,基本就是我们最常用的框架

(3)resource management 负责spark任务的调度




平时我们开发过程中,基本上使用的都是第二层里面的一些框架,这里面使用最多的莫过于spark sql和spark streaming了。在对spark整个生态系统有一个基本了解后,下面我们就关注的是其运行机制了,只有解了运行机制,才会对我们使用程序,或者排查问题以及性能调优起到很大的帮助。

下面我们看下spark任务的运行机制如下图:






Spark相关一些术语解释:



(一)Driver program

driver就是我们编写的spark应用程序,用来创建sparkcontext或者sparksession,driver会和cluster mananer通信,并分配task到executor上执行



(二)Cluster Manager


负责整个程序的资源调度,目前的主要调度器有:

YARN

Spark Standalone

Mesos

(三)Executors

Executors其实是一个独立的JVM进程,在每个工作节点上会起一个,主要用来执行task,一个executor内,可以同时并行的执行多个task。


(四)Job

Job是用户程序一个完整的处理流程,是逻辑的叫法。


(五)Stage

一个Job可以包含多个Stage,Stage之间是串行的,State的触发是由一些shuffle,reduceBy,save动作产生的


(六)Task

一个Stage可以包含多个task,比如sc.textFile("/xxxx").map().filter(),其中map和filter就分别是一个task。每个task的输出就是下一个task的输出。


(七)Partition


partition是spark里面数据源的一部分,一个完整的数据源会被spark切分成多个partition以方便spark可以发送到多个executor上去并行执行任务。



(八)RDD

RDD是分布式弹性数据集,在spark里面一个数据源就可以看成是一个大的RDD,RDD由多个partition组成,spark加载的数据就会被存在RDD里面,当然在RDD内部其实是切成多个partition了。




那么问题来了一个spark job是如何执行的?



(1)我们写好的spark程序,也称驱动程序,会向Cluster Manager提交一个job

(2)Cluster Manager会检查数据本地行并寻找一个最合适的节点来调度任务

(3)job会被拆分成不同stage,每个stage又会被拆分成多个task

(4)驱动程序发送task到executor上执行任务

(5)驱动程序会跟踪每个task的执行情况,并更新到master node节点上,这一点我们可以在spark master UI上进行查看

(6)job完成,所有节点的数据会被最终再次聚合到master节点上,包含了平均耗时,最大耗时,中位数等等指标。





最后关于spark的并行执行策略在总结下:


首先我们的数据源会被加载到RDD里面,在RDD里面整个数据源会被切分成多个partition,partition的个数实际就是我们执行任务的最大并行度,每个task会负责一个partition的数据,而每个spark任务最大可以执行task的个数=executor的个数 * 每个executor的cores的个数。对应到submit脚本中参数就是:


--num-executors 
--executor-cores



根据spark官网的建议每个executor上建议分配置的core的个数应该在3到5之间,如果分配的太多会生成大量的小task执行,task的序列化和传输都会比较耗性能,如果分配的task数量太少,那么我们的executor大部分时候机器资源就会浪费,所以分配的个数一般在3到5个就行,这一点需要注意。






附录:

Spark中RDD,DataFrame,DataSet的区别:


1、RDD支持面向java、scala对象,编译时强类型检查。缺点,序列化非常消耗时间(集群分发和磁盘存储),不能充分利用系统的高级优化能力(如off-heap),垃圾回收对象开销大。


2、DataFrame支持数据集的模式表示(即数据列的概念),所以集群分发数据时并不需要序列化,能充分利用系统高级优化能力(off-heap),引入查询计划提高性能。缺点,DataFrame的列类型,在编译时无法判断类型,会产生运行时错误。



3、Dataset即支持数据集的模式表示,又支持java、scala对象的类型检查能力。两者通过引入一种编码、解码机制来实现。






参考链接:

http://datastrophic.io/core-concepts-architecture-and-internals-of-apache-spark/

https://www.packtpub.com/mapt/book/big_data_and_business_intelligence/9781785885136/1/ch01lvl1sec11/spark-architecture

http://backtobazics.com/big-data/spark/understanding-apache-spark-architecture/

https://www.dezyre.com/article/how-data-partitioning-in-spark-helps-achieve-more-parallelism/297

http://www.agildata.com/apache-spark-rdd-vs-dataframe-vs-dataset/

有什么问题可以扫码关注微信公众号:我是攻城师(woshigcs),在后台留言咨询。 技术债不能欠,健康债更不能欠, 求道之路,与君同行。
  • 大小: 21.4 KB
  • 大小: 10.3 KB