Spark的RDD操作有哪些

这篇文章主要讲解了“Spark的RDD操作有哪些”,文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习“Spark的RDD操作有哪些”吧!

创新互联长期为上千余家客户提供的网站建设服务,团队从业经验10年,关注不同地域、不同群体,并针对不同对象提供差异化的产品和服务;打造开放共赢平台,与合作伙伴共同营造健康的互联网生态环境。为大丰企业提供专业的网站建设、成都网站设计,大丰网站改版等技术服务。拥有十年丰富建站经验和众多成功案例,为您定制开发。

Spark的RDD

在Spark中一切都是以RDD为基础和核心的:

Spark的RDD操作有哪些

每个RDD的API如下所示:

Spark的RDD操作有哪些

Spark官方文档中给出了的众多的RDD:

Spark的RDD操作有哪些

RDD中的操作分为transformations和actions两种:

Spark的RDD操作有哪些

下面举一个例子来说明RDD的使用:

Spark的RDD操作有哪些

另外有两个特殊的RDD:

Spark的RDD操作有哪些

他们都是controlling operations:

Spark的RDD操作有哪些

RDD在执行的时候都是并行的:

Spark的RDD操作有哪些

Spark的高容错机制lineage

基于DAG图,lineage是轻量级而高效的:

Spark的RDD操作有哪些

操作之间相互具备lineage的关系,每个操作只关心其父操作,各个分片的数据之间互不影响,出现错误的时候只要恢复单个Split的特定部分即可:

Spark的RDD操作有哪些

感谢各位的阅读,以上就是“Spark的RDD操作有哪些”的内容了,经过本文的学习后,相信大家对Spark的RDD操作有哪些这一问题有了更深刻的体会,具体使用情况还需要大家实践验证。这里是创新互联,小编将为大家推送更多相关知识点的文章,欢迎关注!


名称栏目:Spark的RDD操作有哪些
地址分享:http://pwwzsj.com/article/isgjco.html