课程大纲：

海量数据处理优化

课程介绍：
本课程注重实战,采用案例贯穿方式完成实践，收集了大量的真实案例，针对海量数据进行深入研讨。本次培训从数据架构开始讲解，通过大量的真实案例，涵盖了数据架构，数据同步，数据层敏捷开发等内容，详细地介绍了海量数据的处理和优化的前沿技术。

课程大纲：
第一部分 数据架构
一、数据拆分
1. 数据现状
2. 连接数问题
3. 数据垂直拆分
4. 垂直拆分的问题和解决方案
5. 异构的读写分离
6. 数据水平拆分
7. 水平拆分的问题和解决方案
8. 一些案例分析
9. 拆分难题
二、多种存储方案
1. 引入*SQL数据库
2. 图片服务器分离
3. 开源的分布式文件系统介绍和使用
4. 图片处理和缓存
5. HDFS介绍
6. CDN介绍和详解
第二部分 数据同步方案
一、并发的日志解析方案
1. 情景分析
2. 整体结构设计
3. 线程池处理
4. 代码实现
二、实时数据传输平台
1. 主要逻辑（发布数据，订阅数据）
2. 实时数据传输平台架构
3. 实时数据传输平台结构分析
4. 代码分享
三、Dbsync同步工具的使用
1、 Dbsync介绍
2、 架构解析
3、 使用详解
四、 异构的数据库/文件系统之间的高速交换工具
1、 开源工具介绍
2、 特点和结构模式
3、 使用和插件开发
第三部分 分布式缓存系统
一、Memcached
1. Memcached简介
2. Memcached简单用途
3. Memcached特点
4. Memcached优点和限制
5. Memcached Java客户端
6. Memcached Java 客户端优化
第四部分 Mysql性能优化、Oracle性能优化(可以根据实际情况选择不同数据库讲解)
一、Mysql性能优化
1. Mysql性能优化引言
2. 数据库设计和查询优化
3. Schema Design
4. 标准化
5. 数据类型
6. 正确使用索引
7. 查询缓存
8. 服务器端优化
9. 存储引擎优化
10. 临时表
11. 线程池
12. 引入非关系数据库
13. 新技术
二、Oracle性能优化
1、常用SQL技巧
2、表的连接方式
3、有效的使用索引
4、Oracle的优化器与执行器
5、Oracle 11g中的执行计划管理
6、Oracle 11g中的数据库重演和SQL重演
7、Oracle的性能顾问
第五部分  数据层开发
一、数据服务平台设计
1. 数据架构分析
2. 问题
3. 解决方案
4. 数据服务平台特性
二、数据服务平台实现
1. 模型数据映射实现
2. 统一查询更新API
3. 性能优化策略
4. 热点缓存平台
5. 异步并行化机制
6. 并发控制，自我保护

海量数据处理优化