课程大纲：

数据挖掘与大数据技术

    课程简介：
    本次课程将介绍数据挖掘与大数据技术的基本理论和体系架构，通过大型数据挖掘和大数据处理项目案例阐述数据挖掘和大数据项目的实施过程和方法。通过实际应用案例讲解数据清洗、数据预处理、数据挖掘算法等重要概念。详细讲解构建数据挖掘体系的核心方法和技术，并结合实际项目搭建数据挖掘环境。熟悉主流数据挖掘厂商及相关软件产品的操作和使用。

    课程特点：
    1、 培训过程中将以大型项目案例为背景，逐步讲解整个数据挖掘的设计过程和实施方法
    2、 课程将以深入浅出的案例让学员轻松掌握数据挖掘相关概念和技术
    3、 课程的重点是项目实施，将深入探讨数据挖掘项目的实施问题，逐一解决项目实施过程中所遇到的问题和处理技巧
    4、 结合动手实验和小而精的例子，使学员充分理解数据挖掘架构设计和相关实施工具的使用

    课程大纲：
    专题一：数据挖掘基础知识
    内容一：数据挖掘基本概念
    1、 数据挖掘的来源
    2、 数据挖掘的定义
    3、 数据挖掘的应用领域
    4、 数据挖掘的行业背景
    内容二：BI的架构
    1、BI体系介绍
    2、数据仓库介绍
    3、ETL介绍
    4、多维数据库介绍
    5、前端展现介绍
    6、数据挖掘模型介绍
    内容三、数据挖掘在行业中的应用
    1、现代企业数据挖掘需求概述
    2、电信行业案例分析
    3、金融行业案例研究
    4、销售行业案例分析
    5、BI系统数据更新与维护
    介绍数据挖掘基本概念，BI体系架构， 数据挖掘工具介绍及其应用，针对电信等行业提供行业解决方案和案例分析。

    专题二：数据挖掘架构设计与完整流程详解
    内容一：九种数据挖掘算法
    1、 九种挖掘算法应用的背景
    2、 决策树算法与模型设计
    3、 聚类算法与模型设计
    4、 关联规则算法与模型设计
    5、 贝叶斯算法与模型设计
    6、 时间序列算法与模型设计
    7、 其他挖掘算法与模型设计
    内容二：常用挖掘模型详解
    1、决策树算法详解及工具实现
    2、聚类算法详解及工具实现
    3、关联规则算法详解及工具实现
    4、贝叶斯算法详解及工具实现
    5、时间序列算法详解及工具实现
    6、数据挖掘模型评估
    内容三：数据挖掘的流程
    1、数据清洗准备
    2、数据预处理
    3、选择数据挖掘模型
    4、数据挖掘模型训练
    5、更新算法模型
    6、模型评估
    7、部署与应用
    内容四：DMX语言
    1、DMX语法结构
    2、使用DMX创建挖掘模型
    3、使用DMX将挖掘结果导出
    4、使用DMX进行挖掘模型参数设置
    九种数据挖掘算法与模型详解，数据挖掘的设计与实施流程，数据挖掘查询语言的使用等，重点对决策树算法、关联规则算法、聚类算法等给出详细设计和处理流程。

    专题三：大数据处理优化部分
    内容一：大数据的特点
    1、什么是大数据
    2、大数据的特点
    3、大数据在行业中的应用
    内容二：大数据优化方法详解
    1、大数据分区处理
    2、使用中间表和临时表
    3、分批次处理与并行计算
    4、建立广泛的索引
    5、建立缓存机制
    6、使用文本和二进制格式进行处理
    7、定制强大的清洗规则和出错处理机制
    8、建立视图或者物化视图
    9、其他优化方法总结
    内容三：数据仓库中大数据的处理方式
    1、数据仓库中的大数据特点
    2、数据仓库中的大数据的处理方式
    3、分布式数据仓库的特点及应用
    内容四：大数据高级应用
    1、大型项目中大数据的优化案例分析
    2、使用大数据优化工具
    3、数据仓库中的大数据性能调优技巧
    4、未来大数据的发展方向
    大数据的概念、特点以及大数据的优化方法，数据仓库项目中大数据的处理方式以及大数据的高级应用等，针对大型数据仓库项目提供了完备的大数据优化解决方案。

    专题四：数据挖掘与大数据项目案例分析
    内容一：中国电信数据挖掘项目
    1、项目介绍
    2、复杂多系统多数据源的特点
    3、ODS的使用
    4、整体项目架构设计
    5、数据挖掘算法选取
    6、数据挖掘模型设计
    7、数据挖掘处理流程
    8、数据抽取策略的制定
    8、挖掘模型的更新技巧
    内容二：Search Funnel数据挖掘项目
    1、项目介绍
    2、项目中的海量数据
    3、数据挖掘算法
    4、数据挖掘模型构建
    5、数据的预处理技术
    6、对挖掘模型进行训练
    7、展示数据挖掘模型结果
    8、数据挖掘模型评估
    内容三：MSN大数据处理项目
    1、项目介绍
    2、项目中的超海量数据
    3、大数据处理所遇到的问题
    4、使用并行处理和计算
    5、大数据项目中的数据挖掘模型处理
    6、项目中的报表展现
    7、大数据处理思路总结
    内容四：AdventureWorks整体项目案例
    1、案例介绍
    2、ETL流程详解
    3、OLAP流程详解
    4、前端报表流程详解
    5、数据挖掘流程详解

    总结
    大型数据仓库与数据挖掘项目设计和实施，重点对项目架构设计和数据完整处理流程做重点分析和详细介绍，针对大型数据挖掘项目，提供了完备的解决方案，给出完整设计思路和数据处理技术应用。

数据挖掘与大数据技术