【课程大纲】

1 前言

1.1 大数据引出原因

1.1.1 “大数据，大商机”

大数据带来的大商机

大商机带来的“新淘宝”

更大的“资产革命”等着你

1.1.2 “数据资产”的引出

数据的价值，开始超过固定资产

电信运营商从网络运营转型为大数据运营？

大数据带来的思维变革

1.1.3 数据量庞大

互联网的出现导致数据量庞大至PB级

移动互联网导致客户信息的庞大

非结构化数据海量出现，而且可以部分处理

1.1.4 数据结构复杂

传统结构化数据占比降越来越低

非结构化数据占比加大

混合结构的数据趋于常态（结构化+非结构化数据）

1.1.5 数据价值有待挖掘

数据透视着客户的一切

数据透视着产品的一切

数据透视着营销的一切

数据透视着企业的一切

如何避免“大数据、大忽悠”？

电信运营商掌控的数据，可以分析“一切”

1.1.6 “数据驱动”的理念变革

“数据驱动”的概念和背景

“数据驱动”的技术支持

数据分析技术

数据挖掘技术

“数据驱动”的意义

提供了“理性”分析的可能

提供了“理性”管理的可能

弥补工业革命的“量化”基础

电信运营商可以的“华丽转身”

进行大数据进行运营

构建超过“淘宝”的电商平台

1.1.7 互联网发展中的“数联网”？

互联网是基础平台，数据是其上的流动资产

沟通的是“数据”，带来了巨大的商机

1.2 为何需要大分析？

1.2.1 数据价值评估

“垃圾”or“黄金”？

数据估值的方法

哪些数据留着？哪些数据扔掉？

1.2.2 “数据资产”变现问题

变现的领域

变现的模式

变现的方法

数据的营销“广告”

帮厂商找到客户

帮用户找到产品

1.2.3 “变现”的途径

直接卖数据

卖数据“分析”——增值服务

卖行业分析报告

卖“诸葛亮”——专家咨询

1.2.4 大分析的概念

为何是大分析？

海量数据带来的分析“可能”

分析方法的革新

爬虫出的内容

更多人参与算法研究

大分析的门槛降低

分析产品降低门槛

更多“屌丝”参与

解决了客户需求

大分析困境

分析方法未有实质变革

分析的理念急需变革

让更多的专家参与到分析的第三产业中（生态环境）

大分析与传统分析的差异

大分析的“大”

更大的宽度

更深的深度

更多的用户

一个PAGERANK算法产生了谷歌

什么算法产生新的商务模式？

是否还抽样？

大分析的群众路线

大分析需要业务知识

从“阳春白雪”到“下里巴人”

降低分析工具的门槛

借鉴互联网思维的群众参与

1.2.5 大分析的基础

取数

自助取数

KPI

KPI展示和口径解释

KPI异常波动分析

报表

二维报表

多维报表

统计

EXCEL

SQL编程

数据挖掘

挖掘算法

SPSS

SAS

实时分析

流处理

事件处理

1.2.6 大分析面临的问题

“数据为王”的理念

数据的业务解读？

数据的管理体制

精细化管理

精细化营销

分析为王还是经验为王？

数据能否包打天下？

两者结合的“度”？

如何验证分析的价值？

效果评估的标准

闭环的最后一公里

1.3 大分析的应用案例

1.3.1 新的“啤酒和尿布”

微信和终端关联对比

“阅读”周杰伦和“听”周杰伦

1.3.2 KPI信息地图

GIS结合KPI

如何分解到个人/角色上

1.3.3 “大数据、超细分、微营销”

客户细分之后的产品投放

手机报营销

从“精准营销”到“微营销”

1.4 小结

2 大数据基础

2.1 大数据的基本理念

2.1.1 概念和定义探索

2.1.2 数据资产管理提出

2.1.3 没有大分析，大数据就是大垃圾

2.1.4 大数据如何借鉴“数据仓库”的经验

HADOOP更像个大硬盘

复杂的计算如何实现?

2.1.5 企业级数据中心

内部数据的汇总

内部管理的基础

对外服务的基础

2.2 大数据与数据仓库的关系

2.2.1 大数据阐述了数据的种类和量

2.2.2 大数据缺乏数据整理的经验

2.2.3 数据仓库是数据整理的有效积累

2.2.4 数据仓库等处理技术如何提升效率？

2.2.5 如何提高处理速度？

2.2.6 与DBMS的关系？

HADOOP上的开源DB

MYSQL的集群化？

2.3 大数据的基本特点

2.3.1 4V特点

2.3.2 《大数据时代》的特点

2.3.3 大分析角度的大数据特征

数据可处理程度

结构化数据

非结构化数据

数据管理愈发复杂

升级到系统工程的难度

数据管理需要理论支撑

“爬虫”之后呢？

数据的新鲜度？

2.3.4 大数据的“变现”特征

数据价值密度

数据敏感度

2.4 大数据的价值和意义

2.4.1 大数据透露的客户信息、产品信息、热点内容等

2.4.2 构筑了“虚拟社区”的信息流图，附着价值信息丰富

2.4.3 智慧城市、智能交通等应用含义

量化管理的基础

2.4.4 构筑“理性社会”的基础

降低资源消耗

提升安全管理能力等

2.4.5 中国前所未有的一次“弯道超车”机遇

2.5 大数据的问题和挑战

2.5.1 数据质量问题越发突出

2.5.2 数据分析技术尚缺实质突破

2.5.3 大数据应用水平需要逐步演进、逐步深化

如何解决目前的两张皮问题？

如何让大分析尽快见效？

2.5.4 大数据技术架构的突破问题

HADOOP仅是大硬盘？

分析处理技术急待突破

大数据的管理架构还是白纸

大数据的“混搭”带来问题

多个竖井问题重现

数据一致性如何保证？

“融合”的难题

大数据的实时处理瓶颈？

2.5.5 数据理念与国外仍然相距甚远

“盐少许”与“盐5克”的区别

数据分析的基础差距

2.5.6 大数据是项系统工程

理念层面

管理层面

运维层面

如何落地？

2.6 小结

3 大数据的管理

3.1 数据如何收集

3.1.1 能获取哪些数据？

基础数据

扩展数据

外部数据

3.1.2 基于数据价值，决定数据的收集、存放和策略

3.1.3 没有应用时，数据是否收集？

3.2 数据的标准

3.2.1 数据接口

数据类型

数据结构

非结构化数据的处理

3.2.2 数据模型

数据的逻辑模型

数据的物理模型

文件级存储

3.3 数据如何整理

3.3.1 数据的ETL过程

3.3.2 数据的质量监控

3.3.3 数据的分层处理架构？

3.4 数据如何存储

3.4.1 DBMS

3.4.2 HDFS

3.4.3 混搭模式

3.4.4 HBASE等

3.4.5 MPP

3.5 数据如何估值

3.5.1 什么数据好卖？

3.5.2 市场价格？

3.6 数据如何计费？

3.6.1 “资产”的计价基础

3.6.2 划分单位？

3.7 大数据数据质量管控

3.7.1 占数据仓库70%的工作量

3.7.2 大数据环境下数据质量的评估？

3.8 数据如何保障安全？

3.8.1 数据的隐私问题

3.8.2 网络层安全

3.8.3 应用层安全

3.8.4 分层级界定数据安全等级

3.9 大数据的管理

3.9.1 大数据带来的思维变革

数据盖过经验？

挖掘出未有的知识

3.9.2 大数据的管理架构

管理机构

管理职责

企业级数据中心的管理布局

3.9.3 如何构建大分析的团队？

系统集成商

数据分析师

业务人员

3.9.4 数据质量的管控

3.10 大数据的“商业变革”

3.10.1 一切皆可量化

3.10.2 数据驱动变革

4 大数据的技术架构

4.1 大数据处理架构

4.1.1 大数据处理层级和域

4.1.2 哪些计算适合并行？

4.2 为何是混搭架构？

4.2.1 大数据混搭架构的利弊分析

4.2.2 架构是否去IOE？

4.2.3 数据的分布和处理流程

4.3 数据集市的模式

4.3.1 数据沙盘模式？

4.3.2 贴近角色的平台及应用

4.3.3 文件集市？

4.4 数据管控模块

4.4.1 元数据

4.4.2 数据质量

4.4.3 数据安全

4.5 ETL处理过程

4.5.1 DW的ETL处理过程

4.5.2 HADOOP的ETL过程

4.6 应用平台和框架

4.6.1 开放模式

OPEN API