专题课程
【目标收益】
随着我国智能电网的发展，电力系统发、输、变、配、用电各个环节的信息化进程不断推进。在用电侧，利用电力大数据分析可以了解产业结构、经济走势、房屋空置率、区域消费能力等情况，从而可以更好地为经济服务。
伴随着智能电网的全面建设，以物联网和云计算为代表的信息通信技术在电力行业中的广泛应用，电力数据资源开始急剧增长并形成了一定的规模。电力与社会经济的发展密切相关，电力需求变化是经济运行的“晴雨表”和“风向标”，能够真实、客观地反映国民经济的发展状况与态势。因此，发展电力大数据是电力行业革新的必然过程。国家电网公司正在制定以云计算和大数据为技术支撑的信息系统方案，以提高国网公司信息系统的安全性、稳定性、可用性，为公司决策、生产、运营、管理提供更好的支撑平台，助力公司发展方式的转变。
【培训对象】
公司专兼职信息通信运维及管理人员。
【培训时长】
培训共五天，具体时间为：2015年8月31日-9月4日
【课程大纲】
1．大数据（Hadoop）介绍，分布式文件系统应用
2．MapReduce应用及调优
3．hadoop集群及管理
4．hadoop子项zookeeper、hbase、pig、hive、sqoop、rdbms应用
5．大数据实战
课程安排
|
日程 |
授课主题 |
课程安排 |
|
第 一 ~ 二 天 |
Hadoop入门，了解什么是hadoop |
Hadoop产生背景 Hadoop在大数据、云计算中的位置和关系 国内外Hadoop应用案例介绍 国内Hadoop的就业情况分析及课程大纲介绍 分布式系统概述 Hadoop生态圈以及各组成部分的简介 Hadoop核心MapReduce例子说明 |
|
分布式文件系统HDFS，是数据库管理员的基础课程 |
分布式文件系统DFS简介 HDFS的系统组成介绍 HDFS的组成部分详解 副本存放策略及路由规则 NameNode Federation 命令行接口 Java接口 客户端与HDFS的数据流讲解 HDFS的可用性（HA） |
|
|
初级MapReduce，成为Hadoop开发人员的基础课程 |
如何理解map、reduce计算模型 剖析伪分布式下MapReduce作业的执行过程 Yarn模型 序列化 MapReduce的类型与格式 MapReduce开发环境搭建 MapReduce应用开发 更多示例讲解，熟悉MapReduce算法原理 |
|
|
第 三 ~ 四 天 |
高级MapReduce，高级Hadoop开发人员的关键课程 |
使用压缩分隔减少输入规模 利用Combiner减少中间数据 编写Partitioner优化负载均衡 如何自定义排序规则 如何自定义分组规则 MapReduce优化 编程实战 |
|
Hadoop集群与管理，是数据库管理员的高级课程 |
Hadoop集群的搭建 Hadoop集群的监控 Hadoop集群的管理 集群下运行MapReduce程序 |
|
|
ZooKeeper基础知识，构建分布式系统的基础框架 |
ZooKeeper体现结构 ZooKeeper集群的安装 操作ZooKeeper |
|
|
HBase基础知识，面向列的实时分布式数据库 |
HBase定义、HBase与RDBMS的对比 数据模型、系统架构 HBase上的MapReduce、表的设计 |
|
|
HBase集群及其管理 HBase客户端 |
集群的搭建过程讲解 集群的监控 集群的管理 |
|
|
HBase Shell以及演示 Java客户端以及代码演示 |
||
|
第 五 天 |
Pig基础知识，进行hadoop计算的另一种框架 |
Pig概述 安装Pig 使用Pig完成手机流量统计业务 |
|
Hive，使用sql进行计算的hadoop框架 |
数据仓库基础知识 Hive定义、Hive体系结构简介、Hive集群 客户端简介 HiveQL定义、HiveQL与SQL的比较 数据类型 表与表分区概念、表的操作与CLI客户端演示 数据导入与CLI客户端演示、查询数据与CLI客户端演示 数据的连接与CLI客户端演示、用户自定义函数（UDF）的开发与演示 |
|
|
Sqoop，hadoop与rdbms进行数据转换的框架 |
配置Sqoop 使用Sqoop把数据从mysql导入到HDFS中 使用Sqoop把数据从HDFS导出到mysql中 |
|
|
结训考试 |
结训考试 |
- 上一篇：大数据在企业管理中的应用
- 下一篇：大数据挖掘、建模与应用实战
