课程大纲：

NLP实战

第一天：传统的NLP
一、NLP基础知识
1、自然语言处理简介
2、中文NLP的主要任务
3、常见的NLP系统
4、NLP的研究机构与资源
二、中文分词
1、基于字符串匹配的分词
2、统计分词法与分词中的消歧
3、命名实体识别
4、常用分词工具：JIEBA
三、文本的相似性
1、VSM
2、TF-IDF
3、初步情感分析
四、隐马尔科夫模型
1、形式化定义
2、三个问题
3、评估问题与向前向后算法
4、解码问题：维特比算法
5、学习问题：Baum-Welch算法
五、条件随机场
1、*熵原理
2、无向图模型
3、*团上的势函数
4、工具：CRF++

第二天：从传统到现代
一、从LSA到LDA
1、LSA与SVD分解
2、pLSA
3、LDA
二、神经网络语言模型
1、维数的诅咒
2、n-gram语言模型
3、NNLM的具体实现
4、改进的思路
三、word2vec
1、one-hot与Distributed
2、CBOW
3、skip-gram
4、Hierachical Softmax
5、Negative Sampling
四、循环神经网络（RNN）
1、RNN的基础架构
2、RNN的示例
3、LSTM
4、GRU

第三天：预训练模型之一（变形金刚、芝麻街、独角兽及其他）
一、GloVe
1、与word2vec的区别
2、统计共现矩阵
3、用GloVe训练词向量
二、Transformer
1、所有你需要的仅仅是“注意力”
2、Transformer中的block
3、自注意力与多头注意力
4、位置编码（为什么可以抛弃RNN）
三、三大特征抽取器的比较
1、CNN、RNN与Transformer的比较
2、融合各种模型
四、Elmo
1、双向语言模型
2、工作原理
3、Elmo的应用场景
五、GPT
1、“一定会有人用它干坏事”
2、GPT的内部架构
3、Transformer的演示
4、自注意力机制的改进
5、GPT的应用场景

第四天：预训练模型之二（站上BERT的肩头）
一、BERT的前世今生
1、之前介绍的模型回顾
2、现代NLP的*应用场景
3、条条大路通BERT
二、BERT详解
1、原理与方法
2、BERT的应用场景
3、BERT源码简介
三、站在BERT肩膀上的新秀们
1、ERNIE
2、XLnet

NLP实战