1.构建Spark Application的运行环境,启动SparkContext 2.简述Spark分区： Spark分区分为两个阶段： 在分布式文件系统上文件是分块存储的，将文件块发送给task，将文件进行partition分区，经过shuffle分组，shuffle分组发送给下一个Task进行运算。默认情况下，每个核心一次执行一个任务，每个分区一个任务，每次分割一个分区。 每一个Spark应用都是一个SparkContext实例，可以理解为一个SparkContext就是一个spark application的生命周期，一旦SparkContext创建之后，就可以用这个SparkContext来创建RDD、累加器、广播变量， 并且可以通过SparkContext访问Spark的服务，运行任务。spark context设置内部服务，并建立与spark执行环境的连接。
1.简述Spark运行流程：
2. SparkContext向资源管理器(可以是Standalone, Mesos, Yarm)申请运行Executor资源， 并启动
StandaloneExecutorbackend
3. Executor向SparkContext申请Task
4. SparkContext将应用程序分发给Executor
5. SparkContext构建成DAG图,将DAG图分解成Stage、将Taskset发送给Task Scheduler,最后由Task Scheduler将Task发送
给Executor运行
6. Task在Executor上运行,运行完释放所有资源
3.简述sparkContext：
sparkContext是Spark的入口，相当于应用程序的main函数。
目前在一个JVM进程中可以创建多个SparkContext，但是只能有一个active级别的
如果你需要创建一个新的SparkContext实例，必须先调用stop方法停掉当前active级别的SparkContext实例。
本网页所有视频内容由 imoviebox边看边下-网页视频下载, iurlBox网页地址收藏管理器 下载并得到。
ImovieBox网页视频下载器 下载地址: ImovieBox网页视频下载器-最新版本下载
本文章由: imapbox邮箱云存储,邮箱网盘,ImageBox 图片批量下载器,网页图片批量下载专家,网页图片批量下载器,获取到文章图片,imoviebox网页视频批量下载器,下载视频内容,为您提供.
阅读和此文章类似的: 全球云计算
官方软件产品操作指南 (170)
