课程大纲：

云计算技术课程培训

课程大纲：
一、云计算背景 
1、什么是大数据？
运营商的数据满足4V特征：与互联网的对比
大数据对传统架构带来的冲击
各行业对大数据技术的共性需求，催生新技术
运营商对大数据技术的需求 
2、云计算主流技术总览 

二、云计算主流技术
1、HADOOP技术
主流技术1：Hadoop发展简史
主流技术1：Hadoop技术
主流技术1：Hadoop技术演进
主流技术1：Hadoop技术 - HDFS文件管理
主流技术1：Hadoop技术 - MapReduce
主流技术1：Hadoop的生态圈
主流技术1：Hadoop产品
主流技术1：Hadoop的应用场景
主流技术1：Hadoop在福建移动的落地实施

2、SPARK技术
主流技术2：Spark发展历程
主流技术2：Spark技术
主流技术2：Spark适用场景
主流技术2：Spark四川移动应用案例

3、MPP技术
主流技术3：MPP数据库引出
主流技术3：MPP数据库
主流技术3：MPP数据库：横向扩展
主流技术3：MPP数据库：并行执行
主流技术3：MPP数据库适用场景

4、流计算技术
主流技术4：流处理技术引出
主流技术4：流处理技术
主流技术4：流处理技术产品与应用场景
主流技术4：流处理技术应用场景
主流技术4：流处理技术山西移动案例

5、*SQL技术
主流技术5：NoSQL技术引出
主流技术5：NoSQL技术
主流技术5：NoSQL典型产品与应用场景
主流技术5：NoSQL技术-浙江移动Hbase案例

6、内存数据库技术
主流技术6：内存数据库引出
主流技术6：内存数据库
主流技术6：内存数据库典型产品与应用场景
主流技术6：内存数据库技术-福建移动案例

7、数据采集技术
主流技术7：数据采集技术
主流技术7：数据采集主流技术-Flume、Kafka
主流技术7： Flume+Kafka应用场景与案例

8、云计算技术如何落地？
如何选择合适的云计算技术
云计算技术在某运营商各省的落地情况汇总

三、Hadoop的关键技术-M/R原理
1、M/R原理
MRAppMaster原理及架构
Yarn的产生
什么是Yarn
Yarn的架构
2、资源分配
资源表示模型
资源分配模型
本地优化
延迟调度
调度器比较
容量调度器的特点
容量调度器的任务选择
容量调度器的优缺点
队列资源限制
用户限制
任务限制
3、MR编程接口
4、MR编程实例

四、HADOOP关键技术-HDFS介绍
1、HDFS介绍
HDFS设计假设、目标
HDFS系统架构
HDFS 架构关键设计要点
NameNode/DataNode主从模式
HDFS主从模式：数据读取流程
HDFS主从模式：数据写入流程
数据副本机制
元数据持久化
健壮机制
HDFS 架构其他关键设计要点说明
HDFS HA架构
HDFS HA架构要点
HDFS 架构全景图

2、HDFS 架构全景图-(ZooKeeper)
HDFS参数配置介绍
HDFS服务配置参数类型说明
HDFS服务关键配置说明
NameNode关键配置说明
DataNode关键配置说明

3、HDFS应用开发的几个概念
开发环境准备--HDFS应用开发之Java API篇
典型代码流程--HDFS应用开发之Java API篇
初始化Filesystem--HDFS应用开发之Java API篇
目录操作--HDFS应用开发之Java API篇
文件读取--HDFS应用开发之Java API篇
文件写入/追加--HDFS应用开发之Java API篇
SHELL编程流程--HDFS应用开发之SHELL篇
Shell接口--HDFS应用开发之SHELL篇

五、HADOOP关键技术-HIVE介绍
1、HIVE概述
什么是Hive      
2、Hive的架构
.metastore
.Driver
.Compiler
3、Map/Reduce任务
.Optimizer – 优化器，分为逻辑优化器和物理优化器，分别对
HiveQL
Execution Engine
ThriftServer
Clients
4、Hive与传统数据库的比较
Hive的优点
5、HIVE应用场景
应用案例
任务执行流程

六、HADOOP关键技术-Hbase
1、Hbase原理
数据分类与存储
KeyValue存储
KeyValue型数据库数据分区方式-一致性Hash分区
KeyValue型数据库数据分区方式-按Key值连续范围分区

2、关于Hbase
Region
Region与RegionServer
Region分类
Master
ZooKeeper
HDFS     

3、Hbase数据模型
Create Table
KeyValue
HFile

4、Hbase写流程
涉及的关键角色
客户端发起写数据请求
定位Region
数据分组
往RegionServer发送写数据请求
Region写数据流程
Hbase LSM Tree
Flush
多HFile的影响
Compaction
Split 

5、Hbase读流程
Get Or Scan
OpenScanner
Next
Filter
BloomFilter

6、Hbase高级设计
RowKey设计
列族与列设计
Secondary Index-Why Secondary Index?
Secondary Index
Replication
Backup/Restore
BulkLoad
CTbase

7、Hbase的接口
Hbase Shell
插入一行数据 — Put
读取一行数据 — Get
读取多行数据 — Scan
其它常用Shell API

七、云计算技术平台落地
1、数据分析领域关键技术与业务场景的映射
大数据技术混搭的必要性
大数据技术混搭架构
大数据平台混搭架构
大数据平台混搭架构思考 

2、互联网大数据平台混搭案例 – 百度大数据架构
互联网大数据平台混搭方案-阿里大数据服务平台
互联网大数据平台混搭案例 - ebay

3、业界大数据平台混搭解决方案-华为FusionInsight
业界大数据平台混搭产品方案-亚信大数据平台
业界大数据平台混搭解决方案-Teradata UDA

4、某电信运营商大数据平台建设-HDM混搭模式
某电信运营商大数据平台建设-混搭关键点
移动混搭建设特点-元数据管理
移动混搭建设特点-数据一致性管控 
移动混搭建设特点-数据质量管理
移动混搭建设特点-数据质量管理

5、省公司混搭案例：
省公司混搭案例-SD移动经分混搭案例
省公司混搭案例-ZJ移动大数据平台混搭案例
省公司混搭案例-FJ移动大数据平台混搭案例 

6、对外服务模式
对外服务-PaaS、SaaS、DaaS
对外服务-SaaS
对外服务-PaaS
对外服务-DaaS
数据对外服务的统一管控
1）对外服务关键点-多租户管理
2）对外服务关键点-透明网关 
3）对外服务关键点-安全管理
对外服务关键点-数据安全管理
对外服务关键点-数据安全管理方法
对外服务关键点-平台安全管理
对外服务关键点-平台安全管理框架
4）对外服务关键点-服务计量

7、对外服务案例
某电信运营商具备大数据典型特点
某电信运营商大数据平台应具备的技术支撑能力
某电信运营商大数据平台建设策略
某电信运营商大数据平台混搭架构总结
大数据平台建设与运营人力资源投入分析
大数据平台运营团队建设

八、总结及展望

云计算技术课程培训