序号 | 名词 | 描述 |
1 | Application | 使用者编写的spark程序,由驱动程序和executors组成 |
2 | Application jar | 一个jar包包含使用者的程序,某些情况下,会创建一个主jar包含其组成的依赖,但这些依赖中,不能包括hadoop和spark的相关的依赖,因为这些会在运行时,添加进去 |
3 | Driver program | 运行main方法和创建SparkContext上下文 |
4 | Cluster manager | (YARN 或者 Mesos或者Spark Standalone)负责外部应用的资源分配 |
5 | Deploy mode | 区别cluster模式,client提交驱动任务在集群外部,而cluster提交驱动程序在集群内部 |
6 | Worker node | 在整个集群中运行任务的节点 |
7 | Executor | 在一个worker node上启动的一个进程,运行任务,保存数据在内存或者磁盘上,每个应用有它自己的一系列executors |
8 | Task | 一个工作单元,轻量级线程模式运行在进程Executor里面 |
9 | Job | 一个并行的计算过程由多个task组成,并且执行一些action(例如collect,save,foreach等)等待spark响应,在log里面可见日志 |
10 | stage | 每个job被切分为多个小的task被称为stage,他们之间相互依赖,非常类似hadoop的MapReduce,在驱动的log里面可见日志 |
相关推荐
Spark实战高手之路-第3章Spark架构设计与编程模型(4).
此阶段掌握基于Spark上的核心...spark作为云计算大数据时代的集大成者,在实时流处理,图技术,机器学习,NoSQL查询等方面具有显著的优势,我们使用spark的时候大部分时间都是在使用其框架如:spark,spark Steaming等
4.Spark运行架构.pdf 5.Hive(上)--Hive介绍及部署.pdf 5.Hive(下)--Hive实战.pdf 6.SparkSQL(上)--SparkSQL简介.pdf 6.SparkSQL(下)--Spark实战应用.pdf 6.SparkSQL(中)--深入了解运行计划及调优.pdf 7....
Spark实战高手之路-第3章Spark架构设计与编程模型(3).
4.Spark运行架构.pdf 5.Hive(上)--Hive介绍及部署.pdf 5.Hive(下)--Hive实战.pdf 6.SparkSQL(上)--SparkSQL简介.pdf 6.SparkSQL(下)--Spark实战应用.pdf 6.SparkSQL(中)--深入了解运行计划及调优.pdf 7....
4.Spark运行架构.pdf 5.Hive(上)--Hive介绍及部署.pdf 5.Hive(下)--Hive实战.pdf 6.SparkSQL(上)--SparkSQL简介.pdf 6.SparkSQL(下)--Spark实战应用.pdf 6.SparkSQL(中)--深入了解运行计划及调优.pdf 7....
1.3 Spark架构 1.4 Spark分布式架构与单机多核架构的异同 1.5 Spark的企业级应用 1.5.1 Spark在Amazon中的应用 1.5.2 Spark在Yahoo!的应用 1.5.3 Spark在西班牙电信的应用 1.5.4 Spark在淘宝的应用 1.6 本章小结 第...
4.Spark运行架构.pdf 5.Hive(上)--Hive介绍及部署.pdf 5.Hive(下)--Hive实战.pdf 6.SparkSQL(上)--SparkSQL简介.pdf 6.SparkSQL(下)--Spark实战应用.pdf 6.SparkSQL(中)--深入了解运行计划及调优.pdf 7....
4.Spark运行架构.pdf 5.Hive(上)--Hive介绍及部署.pdf 5.Hive(下)--Hive实战.pdf 6.SparkSQL(上)--SparkSQL简介.pdf 6.SparkSQL(下)--Spark实战应用.pdf 6.SparkSQL(中)--深入了解运行计划及调优.pdf 7....
4.Spark运行架构.pdf 5.Hive(上)--Hive介绍及部署.pdf 5.Hive(下)--Hive实战.pdf 6.SparkSQL(上)--SparkSQL简介.pdf 6.SparkSQL(下)--Spark实战应用.pdf 6.SparkSQL(中)--深入了解运行计划及调优.pdf 7....
4.Spark运行架构.pdf 5.Hive(上)--Hive介绍及部署.pdf 5.Hive(下)--Hive实战.pdf 6.SparkSQL(上)--SparkSQL简介.pdf 6.SparkSQL(下)--Spark实战应用.pdf 6.SparkSQL(中)--深入了解运行计划及调优.pdf 7....
4.Spark运行架构.pdf 5.Hive(上)--Hive介绍及部署.pdf 5.Hive(下)--Hive实战.pdf 6.SparkSQL(上)--SparkSQL简介.pdf 6.SparkSQL(下)--Spark实战应用.pdf 6.SparkSQL(中)--深入了解运行计划及调优.pdf 7....
【Spark亚太研究院系列丛书】Spark实战高手之路-第3章Spark架构设计与编程模型(1) 【Spark亚太研究院系列丛书】Spark实战高手之路-第3章Spark架构设计与编程模型(2) 【Spark亚太研究院系列丛书】Spark实战高手之...
4.Spark运行架构.pdf 5.Hive(上)--Hive介绍及部署.pdf 5.Hive(下)--Hive实战.pdf 6.SparkSQL(上)--SparkSQL简介.pdf 6.SparkSQL(下)--Spark实战应用.pdf 6.SparkSQL(中)--深入了解运行计划及调优.pdf 7....
4、Spark架构原作者讲解(中文).pdf 5、Spark快速数据处理(前三章).pdf 6、Spark快速数据处理.pdf 7、Spark实战高手之路-第4章Spark内核揭秘.zip 8、Spark源码解读.pdf 9、第2期Spark纯实战公益大讲坛:通过案例...
【Spark亚太研究院系列丛书】Spark实战高手之路-第3章Spark架构设计与编程模型(1) 【Spark亚太研究院系列丛书】Spark实战高手之路-第3章Spark架构设计与编程模型(2) 【Spark亚太研究院系列丛书】Spark实战高手之...
【Spark亚太研究院系列丛书】Spark实战高手之路-第3章Spark架构设计与编程模型(1) 【Spark亚太研究院系列丛书】Spark实战高手之路-第3章Spark架构设计与编程模型(2) 【Spark亚太研究院系列丛书】Spark实战高手之...
4.Spark运行架构 5.Hive(上)--Hive介绍及部署 5.Hive(下)--Hive实战 6.SparkSQL(上)--SparkSQL简介 6.SparkSQL(下)--Spark实战应用 6.SparkSQL(中)--深入了解运行计划及调优 7.SparkStreaming(上)...
第六章 Spark架构和工作机制 52 1 Spark架构 52 1.1 Spark架构组件简介 52 1.2 Spark架构图 54 2 Spark工作机制 54 2.1 Spark作业基本概念 54 2.2 Spark程序与作业概念映射 55 2.3 Spark作业运行流程 55 3 Spark工作...
4.Spark运行架构.pdf 5.Hive(上)--Hive介绍及部署.pdf 5.Hive(下)--Hive实战.pdf 6.SparkSQL(上)--SparkSQL简介.pdf 6.SparkSQL(下)--Spark实战应用.pdf 6.SparkSQL(中)--深入了解运行计划及调优.pdf 7....