课程大纲：

Python语言与数据挖掘

    对象
    大数据系统开发部、大数据分析中心、业务支撑部、IT系统部等相关技术人员。

    目的
    掌握Python语言，以及在数据挖掘中的应用

    内容
    Python是一门解释性语言，仅次于JAVA/C/C++/C#*的语言，可应用在大数据语言。易学，易懂，功能强大。其中有着大量的扩展库来实现数据分析与数据挖掘功能。

    第一部分：Python语言基础
    目的：掌握基本的Python编程思想与编程语句，熟悉常用数据结构的操作
    1、Python简介
    2、开发环境搭建
    Python的安装
    扩展库的安装
    3、掌握Python的简单数据类型
    字符串的使用及操作
    整数、浮点数
    4、掌握基本语句：
    if、while、for、print等
    基本运算：
    函数定义、参数传递、返回值
    5、掌握复杂的数据类型：列表/元组
    列表操作：访问、添加、修改、删除、排序
    列表切片、复制等
    列表相关的函数、方法
    元组的应用
    6、复杂数据类型：字典
    创建、访问、修改、删除、遍历
    字典函数和方法
    7、复杂数据类型：集合
    8、掌握面向对象编程思想
    创建类、继承类
    模块
    9、函数定义、参数传递、返回值
    10、    标准库与扩展库的导入
    11、    异常处理:try-except块
    演练：基本的Python编程语句

    第二部分：Python语言与数据挖掘库
    目的：掌握数据集结构及基本处理方法，进一步巩固Python语言
    1、数据挖掘常用扩展库介绍
    Numpy数组处理支持
    Scipy矩阵计算模块
    Matplotlib数据可视化工具库
    Pandas数据分析和探索工具
    StatsModels统计建模库
    Scikit-Learn机器学习库
    Keras深度学习（神经网络）库
    Gensim文本挖掘库
    2、数据集读取与操作：读取、写入
    读写文本文件
    读写CSV文件
    读写Excel文件
    从数据库获取数据集
    3、数据集的核心数据结构（Pandas数据结构）
    Dataframe对象及处理方法
    Series对象及处理方法
    演练：用Python实现数据的基本统计分析功能

    第三部分：数据可视化处理
    目的：掌握作图扩展库，实现数据可视化
    1、常用的Python作图库
    Matplotlib库
    Pygal库
    2、实现分类汇总
    演练：按性别统计用户人数
    演练：按产品+日期统计各产品销售金额
    3、各种图形的画法
    直方图
    饼图
    折线图
    散点图
    4、绘图的美化技巧
    演练：用Python库作图来实现产品销量分析，并可视化

    第四部分：数据挖掘基础
    目的：掌握数据挖掘标准流程
    1、数据挖掘概述
    2、数据挖掘的标准流程（CRISP-DM）
    商业理解
    数据准备
    数据理解
    模型建立
    模型评估
    模型应用
    3、数据挖掘常用任务与算法
    案例：用大数据实现精准营销的项目过程

    第五部分：数据理解和数据准备
    目的：掌握数据预处理的基本环节，以及Python的实现
    1、数据预处理
    异常值处理：3σ准则，IQR准则
    缺失值插补：均值、拉格朗日插补
    数据筛选/抽样
    数据的离散化处理
    变量变换、变量派生
    2、数据的基本分析
    相关分析：原理、公式、应用
    方差分析：原理、公式、应用
    卡方分析：原理、公式、应用
    主成分分析：降维
    案例：用Python实现数据预处理及数据准备

    第六部分：分类预测模型实战
    1、常见分类预测的模型与算法
    2、如何评估分类预测模型的质量
    查准率
    查全率
    ROC曲线
    3、逻辑回归分析模型
    逻辑回归的原理
    逻辑回归建模的步骤
    逻辑回归结果解读
    案例：用sklearn库实现银行贷款违约预测
    4、决策树模型
    决策树分类的原理
    决策树的三个关键问题
    决策树算法与实现
    案例：电力窃漏用户自动识别
    5、人工神经网络模型（ANN）
    神经网络概述
    神经元工作原理
    常见神经网络算法（BP、LM、RBF、FNN等）
    案例：神经网络预测产品销量
    6、支持向量机（SVM）
    SVM基本原理
    维灾难与核心函数
    案例：基于水质图像的水质评价
    7、贝叶斯分析
    条件概率
    常见贝叶斯网络

    第七部分：数值预测模型实战
    1、常用数值预测的模型
    通用预测模型：回归模型
    季节性预测模型：相加、相乘模型
    新产品预测模型：珀尔曲线与龚铂兹曲线
    2、回归分析概念
    3、常见回归分析类别

    第八部分：聚类分析（客户细分）实战
    1、客户细分常用方法
    2、聚类分析（Clustering）
    聚类方法原理介绍及适用场景
    常用聚类分析算法
    聚类算法的评价
    案例：使用SKLearn实现K均值聚类
    案例：使用TSNE实现聚类可视化
    3、RFM模型分析
    RFM模型，更深入了解你的客户价值
    RFM模型与市场策略
    案例：航空公司客户价值分析

    第九部分：关联规则分析实战
    1、关联规则概述
    2、常用关联规则算法
    3、时间序列分析
    案例：使用apriori库实现关联分析
    案例：中医证型关联规则挖掘

    第十部分：案例实战（学员主导，老师现场指导）
    1、实战1：电商用户行为分析及服务推荐
    2、实战2：基于基站定位数据的商圈分析
    结束：课程总结与问题答疑。

Python语言与数据挖掘