chatGPT案例实践
Day1上午
Transformer
1、你需要的仅仅是“注意力”
2、Transformer中的block
3、自注意力机制
4、多头注意力
5、位置编码(抛弃RNN)
6、Batch Norm与layer Norm
7、解码器的构造
初代GPT
“独角兽”的威力
GPT的内部架构
基于Transformer的改造
自注意力机制的改进
Day1下午
GPT的演进
1、GPT2
2、GPT3
3、InstructGPT
chatGPT的原理实践
1、指示学习(Instruct Learning)
2、相关数据集
3、有监督微调(SFT)
4、从人类反馈中RL的思路
5、奖励建模(RM)
6、PPO
7、chatGPT的应用领域
8、chatGPT引发的讨论
chatGPT的国内替代品
1、问东风AI
2、其他替代品
chatGPT案例实践
|
||
联系电话:4000504030 |
线上课程关注公众号 |