Spark深入解析（十八）：扩展之RDD相关概念关系（SparkCore终）大数据wzc8961661的博客- | ImapBox

Spark深入解析（十八）：扩展之RDD相关概念关系（SparkCore终）大数据wzc8961661的博客-

08 五月
星期五, 08 五月 2020 09:35 Last Updated on 星期五, 08 五月 2020 09:35 0 Comments

RDD相关概念关系

Spark深入解析（十八）：扩展之RDD相关概念关系（SparkCore终）大数据wzc8961661的博客-

  输入可能以多个文件的形式存储在HDFS上，每个File都包含了很多块，称为Block。当Spark读取这些文件作为输入时，会根据具体数据格式对应的InputFormat进行解析，一般是将若干个Block合并成一个输入分片，称为InputSplit，注意InputSplit不能跨越文件。随后将为这些输入分片生成具体的Task。InputSplit与Task是一一对应的关系。随后这些具体的Task每个都会被分配到集群上的某个节点的某个Executor去执行。

  • 1)每个节点可以起一个或多个Executor。
  • 2)每个Executor由若干core组成，每个Executor的每个core一次只能执行一个Task。
  • 3)每个Task执行的结果就是生成了目标RDD的一个partiton。

注意: 这里的core是虚拟的core而不是机器的物理CPU核，可以理解为就是Executor的一个工作线程。而 Task被执行的并发度 = Executor数目 * 每个Executor核数。 至于partition的数目：

  • 1)对于数据读入阶段，例如sc.textFile，输入文件被划分为多少InputSplit就会需要多少初始Task。
  • 2)在Map阶段partition数目保持不变。
  • 3)在Reduce阶段，RDD的聚合会触发shuffle操作，聚合后的RDD的partition数目跟具体操作有关，例如repartition操作会聚合成指定分区数，还有一些算子是可配置的。

  RDD在计算的时候，每个分区都会起一个task，所以rdd的分区数目决定了总的的task数目。申请的计算节点（Executor）数目和每个计算节点核数，决定了你同一时刻可以并行执行的task。

  比如的RDD有100个分区，那么计算的时候就会生成100个task，你的资源配置为10个计算节点，每个两2个核，同一时刻可以并行的task数目为20，计算这个RDD就需要5个轮次。如果计算资源不变，你有101个task的话，就需要6个轮次，在最后一轮中，只有一个task在执行，其余核都在空转。如果资源不变，你的RDD只有2个分区，那么同一时刻只有2个task运行，其余18个核空转，造成资源浪费。这就是在spark调优中，增大RDD分区数目，增大任务并行度的做法。

后续会更新Spark面试题，博友可以先关注哦！！！

原创文章 88获赞 27访问量 13万+

  • Spark深入解析（十八）：扩展之RDD相关概念关系（SparkCore终）大数据wzc8961661的博客- Spark深入解析（十八）：扩展之RDD相关概念关系（SparkCore终）大数据wzc8961661的博客-
  • Spark深入解析（十八）：扩展之RDD相关概念关系（SparkCore终）大数据wzc8961661的博客- 评论
  • Spark深入解析（十八）：扩展之RDD相关概念关系（SparkCore终）大数据wzc8961661的博客-
    x

    海报

    扫一扫，海报

  • Spark深入解析（十八）：扩展之RDD相关概念关系（SparkCore终）大数据wzc8961661的博客- Spark深入解析（十八）：扩展之RDD相关概念关系（SparkCore终）大数据wzc8961661的博客-
  • Spark深入解析（十八）：扩展之RDD相关概念关系（SparkCore终）大数据wzc8961661的博客- 手机看

    到微信朋友圈

    x

    扫一扫，手机阅读

  • Spark深入解析（十八）：扩展之RDD相关概念关系（SparkCore终）大数据wzc8961661的博客-打赏

    打赏

    Spark深入解析（十八）：扩展之RDD相关概念关系（SparkCore终）大数据wzc8961661的博客-

    老王的小知识

    “你的鼓励将是我创作的最大动力”

    5C币 10C币 20C币 50C币 100C币 200C币

  • Spark深入解析（十八）：扩展之RDD相关概念关系（SparkCore终）大数据wzc8961661的博客-

Spark深入解析（十八）：扩展之RDD相关概念关系（SparkCore终）大数据wzc8961661的博客-



 
 
 
 


本页所有内容来自官方网站 https://www.imapbox.com 新闻来源：互联网搜索引擎和新闻站

本网页所有图片由 ImageBox 图片批量下载器,网页图片批量下载专家,网页图片批量下载器,获取到文章图片，下载并得到。

ImageBox 图片批量下载器 工具地址: 网页图片批量下载工具-最新版本下载

非凡下载站地址：https://www.crsky.com/soft/35838.html

本网页所有视频内容由 imoviebox边看边下-网页视频下载, iurlBox网页地址收藏管理器 下载并得到。

ImovieBox网页视频下载器 下载地址: ImovieBox网页视频下载器-最新版本下载

本文章由: imapbox邮箱云存储,邮箱网盘,ImageBox 图片批量下载器,网页图片批量下载专家,网页图片批量下载器,获取到文章图片,imoviebox网页视频批量下载器,下载视频内容,为您提供.




文章目录

  • 全球报导 (16311)
  • 全球云计算 (29506)
  • 程序员专区 (1974)
  • Imap 全球通用标准协议 (7)
  • 全球邮局列表 (17)
  • Imapbox 系列软件 (3)
  • 产品一览 (6)
  • 事业方向 (7)
  • 联系我们 (2)

官方链接

imapbox邮箱网盘 imapbox 海外官网 iMapBox百度百科

登录