大数据关键技术及系统建设

课程目标

课程内容

课时

• 学习数据仓库技术

• 学习hadoop等云计算技术

• 学习数据管理技术

• 学习大数据分析等

大数据的背景

1、为什么是大数据？

互联网导致海量数据

大数据的4V特征

大数据处理的技术特点和要求

2、大数据的引出原因

非结构化数据的引出

数据处理性能的原因

数据处理成本原因

去IOE

互联网企业的成功探索

实践学科

理论滞后

核心技术的突破

3、传统数据仓库处理技术是否过时？

3.1大数据有哪些关键技术

HADOOP

MPP

3.2大数据的系统案例

BAT案例

电信行业案例

金融行业案例

其它行业案例

12小时

数据仓库技术

原来的数据处理技术

数据仓库的概念

数据仓库的关键技术

数据仓库的管理技术

数据仓库与大数据的关系

HADOOP等云计算技术

4、概述

云计算的“轮回”

云计算的生态圈

5、HADOOP技术

基本原理

YARN概念

6、SPARK技术

引出背景

技术内容

应用实例

7、MPP技术

引出背景

技术内容

应用实例

8、NOSQL数据库

引出背景

技术内容

应用实例

9、流处理技术

引出背景

技术内容

应用实例

10、内存数据库

引出背景

技术内容

应用实例

11、实时采集技术

引出背景

技术内容

应用实例

12、容器技术

引出背景

技术内容

应用实例

13、PAAS/SAAS/IAAS

概念

技术内容与区隔

应用实例

适用人群

数据管理技术

1、概述

数据管理原因

数据管理方法

实际经验教训

2、元数据

技术元数据

业务元数据

管理元数据

3、数据质量

数据质量概述

数据质量管理功能

如何进行数据质量监控

4、数据安全

从网络安全到数据安全

数据安全体系

数据安全关键技术

数据安全管理案例

5、数据资产管理

数据资产概念

数据资产管理架构

数据资产管理关键点

案例

元数据案例

数据质量应用案例

数据资产管理案例

      大数据相关管理及技术人员

大数据系统建设实例

1、某电信企业大数据系统建设案例

建设背景

系统架构实例

系统特点评估

2、某金融行业大数据系统建设案例

建设背景

系统架构实例

系统特点评估

3、某互联网行业大数据系统建设案例

建设背景

系统架构实例

系统特点评估

大数据建设关键点

4、大数据建设关键点

4.1、管理方面

人才积累问题

成本的“内升外降”

管理思维转型

4.2、技术方面

技术储备

重新回到“汇编时代”

数据可视化

4.3、业务方面

“业务驱动”还是“技术驱动”

业务切入点

如何让业务人员“融入”进来？

业务应用的ROI评估

业务应用的关键点

5你的企业“玩得起”大数据吗？

大数据之后的大分析

1、什么是大分析

背景和定义

大分析的热潮

大分析的内容

2、大分析的意义

大分析“无处不在”

构筑“理性社会”

建立“大分析文化”

3、大分析的关键点

能否越过“工业文明”

大分析中的数据挖掘

大分析的切入点

大分析的“百花齐放百家争鸣”

4、如何进入大分析

企业内部还是外部？

大分析的互联网思维

关键难点

5、大分析的具体案例

客户内容标签分析

商圈的客户构成分析

总结

大数据技术关键点

大数据技术与应用的关系

大数据技术选择原则

跳出“技术决定论”

课时合计

12小时