【课程大纲】

一、云计算背景

1、什么是大数据？

运营商的数据满足4V特征：与互联网的对比

大数据对传统架构带来的冲击

各行业对大数据技术的共性需求，催生新技术

运营商对大数据技术的需求

 

2、云计算主流技术总览

 

二、云计算主流技术

1、HADOOP技术

主流技术1：Hadoop发展简史

主流技术1：Hadoop技术

主流技术1：Hadoop技术演进

主流技术1：Hadoop技术 - HDFS文件管理

主流技术1：Hadoop技术 - MapReduce

主流技术1：Hadoop的生态圈

主流技术1：Hadoop产品

主流技术1：Hadoop的应用场景

主流技术1：Hadoop在福建移动的落地实施

 

2、SPARK技术

主流技术2：Spark发展历程

主流技术2：Spark技术

主流技术2：Spark适用场景

主流技术2：Spark四川移动应用案例

 

3、MPP技术

主流技术3：MPP数据库引出

主流技术3：MPP数据库

主流技术3：MPP数据库：横向扩展

主流技术3：MPP数据库：并行执行

主流技术3：MPP数据库适用场景

 

4、流计算技术

主流技术4：流处理技术引出

主流技术4：流处理技术

主流技术4：流处理技术产品与应用场景

主流技术4：流处理技术应用场景

主流技术4：流处理技术山西移动案例

5、NOSQL技术

主流技术5：NoSQL技术引出

主流技术5：NoSQL技术

主流技术5：NoSQL典型产品与应用场景

主流技术5：NoSQL技术-浙江移动HBase案例

 

6、内存数据库技术

主流技术6：内存数据库引出

主流技术6：内存数据库

主流技术6：内存数据库典型产品与应用场景

主流技术6：内存数据库技术-福建移动案例

 

7、数据采集技术

主流技术7：数据采集技术

主流技术7：数据采集主流技术-Flume、Kafka

主流技术7： Flume+Kafka应用场景与案例

 

8、云计算技术如何落地？

如何选择合适的云计算技术

云计算技术在某运营商各省的落地情况汇总

 

 

三、Hadoop的关键技术-M/R原理

 

       1、M/R原理

MRAppMaster原理及架构

Yarn的产生

什么是Yarn

Yarn的架构

 

2、资源分配

资源表示模型

资源分配模型

本地优化

延迟调度

调度器比较

容量调度器的特点

           容量调度器的任务选择

容量调度器的优缺点

队列资源限制

用户限制

任务限制

 

       3、MR编程接口

       4、MR编程实例

 

四、HADOOP关键技术-HDFS介绍

 

1、HDFS介绍

 

HDFS设计假设、目标

HDFS系统架构

HDFS 架构关键设计要点

NameNode/DataNode主从模式

HDFS主从模式：数据读取流程

HDFS主从模式：数据写入流程

数据副本机制

元数据持久化

健壮机制

HDFS 架构其他关键设计要点说明

HDFS HA架构

HDFS HA架构要点

HDFS 架构全景图

 

2、HDFS 架构全景图-(ZooKeeper)

 

HDFS参数配置介绍

HDFS服务配置参数类型说明

HDFS服务关键配置说明

NameNode关键配置说明

DataNode关键配置说明

 

 

3、HDFS应用开发的几个概念

开发环境准备--HDFS应用开发之Java API篇

典型代码流程--HDFS应用开发之Java API篇

初始化Filesystem--HDFS应用开发之Java API篇

目录操作--HDFS应用开发之Java API篇

文件读取--HDFS应用开发之Java API篇

文件写入/追加--HDFS应用开发之Java API篇

SHELL编程流程--HDFS应用开发之SHELL篇

Shell接口--HDFS应用开发之SHELL篇

 

五、HADOOP关键技术-HIVE介绍

 

       1、HIVE概述

什么是Hive

    

2、Hive的架构

• Metastore

• Driver

• Compiler

3、Map/Reduce任务

• Optimizer – 优化器，分为逻辑优化器和物理优化器，分别对

HiveQL

Execution Engine

ThriftServer

Clients

 

4、Hive与传统数据库的比较

Hive的优点

 

5、HIVE应用场景

应用案例

任务执行流程

 

六、HADOOP关键技术-HBASE

 

       1、HBASE原理

数据分类与存储

KeyValue存储

KeyValue型数据库数据分区方式-一致性Hash分区

KeyValue型数据库数据分区方式-按Key值连续范围分区

 

2、关于HBase

Region

Region与RegionServer

Region分类

Master

ZooKeeper

HDFS

      

       3、HBASE数据模型

Create Table

KeyValue

HFile

 

       4、HBASE写流程

涉及的关键角色

客户端发起写数据请求

定位Region

数据分组

往RegionServer发送写数据请求

Region写数据流程

HBase LSM Tree

Flush

多HFile的影响

Compaction

Split

 

       5、HBASE读流程

Get Or Scan

OpenScanner

Next

Filter

BloomFilter



       6、HBASE高级设计

RowKey设计

列族与列设计

Secondary Index-Why Secondary Index?

Secondary Index

Replication

Backup/Restore

BulkLoad

CTBase

 

 

7、HBase的接口

HBase Shell

插入一行数据 — Put

读取一行数据 — Get

读取多行数据 — Scan

其它常用Shell API

 

 

七、云计算技术平台落地

 

1、数据分析领域关键技术与业务场景的映射

大数据技术混搭的必要性

大数据技术混搭架构

大数据平台混搭架构

大数据平台混搭架构思考

 

 

2、互联网大数据平台混搭案例 – 百度大数据架构

互联网大数据平台混搭方案-阿里大数据服务平台

互联网大数据平台混搭案例 - ebay

 

3、业界大数据平台混搭解决方案-华为FusionInsight

业界大数据平台混搭产品方案-亚信大数据平台

业界大数据平台混搭解决方案-Teradata UDA

 

4、某电信运营商大数据平台建设-HDM混搭模式

某电信运营商大数据平台建设-混搭关键点

移动混搭建设特点-元数据管理

移动混搭建设特点-数据一致性管控

 

移动混搭建设特点-数据质量管理

移动混搭建设特点-数据质量管理

 

5、省公司混搭案例：

省公司混搭案例-SD移动经分混搭案例

省公司混搭案例-ZJ移动大数据平台混搭案例

省公司混搭案例-FJ移动大数据平台混搭案例

 

 

6、对外服务模式

对外服务-PaaS、SaaS、DaaS

对外服务-SaaS

对外服务-PaaS

对外服务-DaaS

数据对外服务的统一管控

 

1） 对外服务关键点-多租户管理

 

2） 对外服务关键点-透明网关

 

3）对外服务关键点-安全管理

对外服务关键点-数据安全管理

对外服务关键点-数据安全管理方法

对外服务关键点-平台安全管理

对外服务关键点-平台安全管理框架

 

4）对外服务关键点-服务计量

 

7、对外服务案例

 

某电信运营商具备大数据典型特点

某电信运营商大数据平台应具备的技术支撑能力

某电信运营商大数据平台建设策略

某电信运营商大数据平台混搭架构总结

大数据平台建设与运营人力资源投入分析

大数据平台运营团队建设

 

八、总结及展望