MOOC大数据Note-创新互联

MOOC 大数据Note
  • Spark
    • Spark 一个软件栈满足不同交互场景
    • Lineage 血缘关系
    • 创建 转换 动作
    • ShuffleMapStage
    • Spark的部署和应用方式
    • RDD操作分为转换(Transformation)和动作(Action)两种类型,下列属于动作(Action)类型的操作的是:count
    • Spark支持三种类型的部署方式:Standalone,Spark on Mesos,Spark on YARN
    • RDD采用惰性调用,遇到“转换(Transformation)”类型的操作时,只会记录RDD生成的轨迹,只有遇到“动作(Action)”类型的操作时才会触发真正的计算
    • 在选择Spark Streaming和Storm时,对实时性要求高(比如要求毫秒级响应)的企业更倾向于选择流计算框架Storm
    • 基于实时数据流的数据处理:Storm
    • 复杂的批量数据处理:MapReduce
    • 基于历史数据的交互式查询:Impala
    • Apache软件基金会最重要的三大分布式计算系统开源项目包括:Storm、Spark、Hadoop
    • Spark的主要特点包括:运行模式多样、通用性好、容易使用、运行速度快
    • Scala是Spark的主要编程语言,但Spark还支持Java、Python、R作为编程语言
    • Scala具备强大的并发性,支持函数式编程
    • Scala是一种多范式编程语言
    • Scala运行于Java平台,兼容现有的Java程序
    • Spark的运行架构包括:每个应用的任务控制节点 Driver、集群资源管理器 Cluster Manager、运行作业任务的工作节点 Worker Node、每个工作节点上负责具体任务的执行进程 Executor
    • 常见的动作(Action)和转换(Transformation)操作的API count():返回数据集中的元素个数,map(func):将每个元素传递到函数func中,并将结果返回为一个新的数据集,filter(func):筛选出满足函数func的元素,并返回一个新的数据集
    • HBase是一种列式数据库
    • HBase是一个稀疏、多维度、排序的映射表,这张表的索引是行键、列族、列限定符和时间戳
    • 每个HBase表都由若干行组成,每个行由行键(row key)来标识
    • HBase列族支持动态扩展,可以很轻松地添加一个列族或列
    • Zookeeper是一个集群管理工具,常用于分布式计算,提供配置维护、域名服务、分布式同步等
    • HBase三层结构的顺序是:Zookeeper文件,-ROOT-表,.MEATA.表
    • 客户端是通过三级寻址来定位Region
    • 访问HBase表中的行,有哪些方式:通过一个行健的区间来访问,通过单个行键来访问、全表扫描
    • HBase和传统关系型数据库的区别在于哪些方面:数据操作、数据模型、存储模式、数据索引
    • 下列对HBase的理解正确的是:HBase多用于存储非结构化和半结构化的松散数据,HBase是针对谷歌BigTable的开源实现

成都创新互联-专业网站定制、快速模板网站建设、高性价比广州网站开发、企业建站全套包干低至880元,成熟完善的模板库,直接使用。一站式广州网站制作公司更省心,省钱,快速模板网站建设找我们,业务覆盖广州地区。费用合理售后完善,10多年实体公司更值得信赖。Spark Spark 一个软件栈满足不同交互场景

在这里插入图片描述

Lineage 血缘关系 创建 转换 动作 ShuffleMapStage

在这里插入图片描述

Spark的部署和应用方式

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

RDD操作分为转换(Transformation)和动作(Action)两种类型,下列属于动作(Action)类型的操作的是:count Spark支持三种类型的部署方式:Standalone,Spark on Mesos,Spark on YARN RDD采用惰性调用,遇到“转换(Transformation)”类型的操作时,只会记录RDD生成的轨迹,只有遇到“动作(Action)”类型的操作时才会触发真正的计算 在选择Spark Streaming和Storm时,对实时性要求高(比如要求毫秒级响应)的企业更倾向于选择流计算框架Storm 基于实时数据流的数据处理:Storm 复杂的批量数据处理:MapReduce 基于历史数据的交互式查询:Impala Apache软件基金会最重要的三大分布式计算系统开源项目包括:Storm、Spark、Hadoop Spark的主要特点包括:运行模式多样、通用性好、容易使用、运行速度快 Scala是Spark的主要编程语言,但Spark还支持Java、Python、R作为编程语言 Scala具备强大的并发性,支持函数式编程 Scala是一种多范式编程语言 Scala运行于Java平台,兼容现有的Java程序 Spark的运行架构包括:每个应用的任务控制节点 Driver、集群资源管理器 Cluster Manager、运行作业任务的工作节点 Worker Node、每个工作节点上负责具体任务的执行进程 Executor 常见的动作(Action)和转换(Transformation)操作的API count():返回数据集中的元素个数,map(func):将每个元素传递到函数func中,并将结果返回为一个新的数据集,filter(func):筛选出满足函数func的元素,并返回一个新的数据集 HBase是一种列式数据库 HBase是一个稀疏、多维度、排序的映射表,这张表的索引是行键、列族、列限定符和时间戳 每个HBase表都由若干行组成,每个行由行键(row key)来标识 HBase列族支持动态扩展,可以很轻松地添加一个列族或列 Zookeeper是一个集群管理工具,常用于分布式计算,提供配置维护、域名服务、分布式同步等 HBase三层结构的顺序是:Zookeeper文件,-ROOT-表,.MEATA.表 客户端是通过三级寻址来定位Region 访问HBase表中的行,有哪些方式:通过一个行健的区间来访问,通过单个行键来访问、全表扫描 HBase和传统关系型数据库的区别在于哪些方面:数据操作、数据模型、存储模式、数据索引 下列对HBase的理解正确的是:HBase多用于存储非结构化和半结构化的松散数据,HBase是针对谷歌BigTable的开源实现

你是否还在寻找稳定的海外服务器提供商?创新互联www.cdcxhl.cn海外机房具备T级流量清洗系统配攻击溯源,准确流量调度确保服务器高可用性,企业级服务器适合批量采购,新人活动首月15元起,快前往官网查看详情吧


文章题目:MOOC大数据Note-创新互联
本文链接:http://pwwzsj.com/article/pidjs.html