hadoop扫盲

1 hadoop 大数据平台架构和实践

创新互联专注为客户提供全方位的互联网综合服务,包含不限于网站设计、成都网站设计、汝南网络推广、重庆小程序开发、汝南网络营销、汝南企业策划、汝南品牌公关、搜索引擎seo、人物专访、企业宣传片、企业代运营等,从售前售中售后,我们都将竭诚为您服务,您的肯定,是我们最大的嘉奖;创新互联为所有大学生创业者提供汝南建站搭建服务,24小时服务热线:18982081108,官方网址:www.cdcxhl.com

掌握大数据存储与处理技术的原理

掌握hadoop开发

2 课程预报知识

linux 常用命令

java编程基础

3 hadoop前世今生

大数据到来 PB 级别的数据。

mapreduce、GFS

并行,节点同步,开发了技术论文,没开放源代码。

hadoop ***小象。

4 hadoop 的功能和优势

开源 分布式存取 + 分布式计算平台。

HDFS:分布式文件系统,

任务调度。

高扩展、低成本、成熟的生态圈。

hadoop 人才需求,开发人才、运维

5 生态系统版本

HDFS MAPreduce hive 

sql -> hive -> hadoop 

hbase 非关系型数据库

zookeeper 动物管理员

版本选择,2.6版本 1.2 版本 稳定版

6 hadoop的安装

1 linux 环境

2 安装jdk

3 配置hadoop 4 个配置文件

可以租用云主机。阿里云不错的选择哦。

7 hadoop的核心文件

HDFS 体系结构

读取元数据 dateNode 是 工作节点

数据管理策略:三份存、64M数据库,心跳检测、定期汇报状态、二级namenode、定期同步到,就是各种备份,自动同步呗。

读写流程:什么程序都有可能。流水线复制。更新源数据。

特点:数据冗余、硬件容错。流式的数据访问、无法修改,直接删除后添加。存储大文件。批量读写,吞吐量大,一次写入,多次读写,交互性能差

命令行操作:类似shell 编程。

8 map reduce 分大任务到小任务、合并结果在一起。

100GB的网站访问日志文件,找错访问次数最多的IP

交换很重要、

运行流程:

基本概念:job task  one job to more task

jobtracker map任务 和 reduce任务。

jobtracker 1 作业调度 2 分配任务、监控任务执行进度

监控tasktracker的状态

执行任务、汇报任务状态。

输入数据分片、map任务、中间结果、reduce任务、输出结果。

HDFS表中。

jobtracker 任务、执行过程。

容错机制、重复执行、先重试4次,默认放弃,推测执行。map端完成后,tasktracker执行。

9 应用案例:

wordcount 经典记录:

计算文件中出现每个单词的频数、

map过程 分

reduce过程 合


新闻名称:hadoop扫盲
URL链接:http://pwwzsj.com/article/psscgp.html