【课程目标】

Hadoop作为开源的云计算平台，为大数据处理提供了一整套解决方案，应用非常广泛。Hadoop作为一个平台框架，包括了如何存储海量数据，如何处理海量数据，以及相应的数据库、数据仓库、数据流处理、数据分析和挖掘算法库，等等。本课程主要介绍Hadoop的思想、原理，以及重要技术等相关知识。

通过本课程的学习，达到如下目的：

1、 了解大数据处理技术的相关知识。

2、 学习Hadoop的核心技术以及应用。

3、 掌握Hadoop的相关工具在大数据中的使用。

4、 掌握Hadoop的常用模块的工作原理及开发应用技术。

5、 掌握传统数据中心向大数据中心转换的关键技术。

6、 掌握海量数据处理的性能优化及维护技巧。

 

 

【培训对象】

网络部、大数据系统开发部、大数据中心、网络运维部等相关技术人员。

 

【授课方式】

原理精讲+案例演练+开发实践+系统优化

【培训时长】

2~5天时间

（全部模块讲完需要5天时间，可以根据时间需求拆分内容模块）。

 

【课程大纲】

 

第一部分：Hadoop的基本框架

大数据时代面临的问题

当前解决大数据的技术方案

Hadoop架构和云计算

Hadoop简史及安装部署

Hadoop设计理念和生态系统

 

第二部分：HDFS分布式文件系统：海量数据存储的摇篮

HDFS的设计目标

HDFS的基本架构

NameNode名称节点

SecondaryNameNode第二名称节点

DataNode数据节点

HDFS的存储模型

数据块存储

元数据存储（空间镜像与编辑日志）

多副本存储

多副本放置策略

多数据节点管理机制与交互过程

文件系统操作与管理

读文件过程

写文件过程（数据流管道）

数据完整性机制

数据校验和

数据完整性扫描线程

元数据备份与合并

数据可靠性设计

安全模式（数据块与节点映射关系管理）

心跳检测机制（节点失效管理）

租约机制（多线程并发控制）

其它

HDFS的安全机制

负载均衡

文件压缩

操作接口与编程接口

HDFS Shell

HDFS Commands

WebHDFS REST API

HDFS Java API

演练：HDFS文件操作命令

演练：HDFS编程示例

 

第三部分：MapReduce分布式计算系统：海量数据处理的利器

MapReduce的三层设计理念

分布治之的设计思想（Map与Reduce）

数据处理引擎（编程模型）

运行时环境（任务调度与执行）

MapReduce的基本架构

JobTracker作业跟踪器

TaskTracker任务跟踪器

MapReduce与HDFS的部署关系

MapReduce编程模型概述

编程接口介绍

Hadoop工作流实现原理

MapReduce作业调度机制

MapReduce作业生命周期

作业调度策略

静态资源管理方案

数据并行处理机制（五步骤）

Input阶段实现

Map阶段实现

Shuffle阶段实现

Reduce阶段实现

Output阶段

MapReduce容错机制

任务失败与重新尝试

节点失效与重调度

单点故障

MapReduce性能优化

优化方向与思路

磁盘IO性能优化

分片优化

线程数量优化

内存优化

压缩优化

MapReduce操作接口

Job Shell

Web UI

案例演练：MapReduce编程示例

YARN：下一代通用资源管理系统

MRv1的局限性

YARN基本框架

NN HA：解决单点故障

HDFS Federation：解决扩展性问题

 

第四部分：HBase非关系型数据库：海量数据的黎明

HBase的使用场景

HBase的基本架构

Zookeeper分布式协调服务器

Master主控服务器

Region Server区域服务器

HBase的数据模型

HBase的表结构

行键、列键、时间戳

HBase的存储模型

基本单位Region

存储格式HFile

数据分裂机制Split

数据合并机制Compaction

minor compaction

major compaction

HLog写前日志

数据库读写操作

数据库写入

数据库读取

三次寻址

HBase操作接口

Native Java API

HBase Shell

批量加载工具

HiveQL操作

HBase性能优化

写速度优化

读速度优化

HBase集群监控与管理

案例演练：HBase命令操作实例

 

第五部分：Hive分布式数据仓库：高级的编程语言

Hive是什么

Hive与关系数据库的区别

Hive系统架构

用户接口层

元数据存储层

驱动层

Hive常用服务

Hive元数据的三种部署模式

Hive的命名空间

Hive数据类型与存储格式

数据类型

TextFile/SequenceFile/RCFile

Hive的数据模型

管理表

外部表

分区表

桶表

HQL语言命令实例

DDL数据定义语言

DML数据操作语言

QUERY数据查询语言

Hive自定义函数

基本函数（UDF）

聚合函数（UDAF）

表生成函数（UDTF）

Hive性能优化

动态分区

压缩

索引

JVM重用

案例演练：Hive命令操作实例

 

第六部分：Sqoop数据交互工具：Hadoop与传统数据库的桥梁

Sqoop是什么

Sqoop的架构和功能

Sqoop1架构

Sqoop2架构

数据双向交换

数据导入过程

数据导出过程

数据导入工具与命令介绍

案例演练：Sqoop数据导入/导出实际操作

 

第七部分：Pig数据流处理引擎：数据脚本语言

Pig介绍

命令行交互工具Grunt

Pig数据类型

Pig Latin脚本语言介绍

基础知识

输入和输出

关系操作

调用静态Java函数

Pig Latin高级应用

开发与测试Pig Latin脚本

开发工具

任务状态监控

调试技巧

脚本性能优化

用户自定义函数UDF

案例演练：Pig Latin脚本编写、测试与运行操作

 

结束：课程总结与问题答疑。