江东的笔记

对Transformer中self-attention的理解

发表于 2022-10-08 更新于 2022-11-24 分类于自然语言处理

Q、K点乘之后的方差会随着维度的增大而增大，而大的方差会导致极小的梯度，为了防止梯度消失，所以除以sqrt(dk)来减小方差

发表于 2022-10-07 更新于 2022-11-24 分类于自然语言处理

其中pos表示token在sequence中的位置，d_model表示词嵌入的维度，i则是range(d_model)中的数值

发表于 2022-10-06 更新于 2022-11-24 分类于自然语言处理

“预训练“的做法一般是将大量低成本收集的训练数据放在一起，经过某种预训方法去学习其中的共性……

发表于 2022-10-05 更新于 2022-11-24 分类于自然语言处理

模型的加载和编码以及基本的使用功能

发表于 2022-07-10 更新于 2022-11-24 分类于深度学习

大二下学期深度学习课程回顾

发表于 2022-07-08 更新于 2022-11-24 分类于机器学习

大二上学期机器学习课程回顾

发表于 2022-06-05 更新于 2022-11-24 分类于深度学习

快速下载文件

发表于 2022-05-08 更新于 2022-11-24 分类于深度学习

SOFTMAX函数的脉络梳理

发表于 2022-05-07 更新于 2022-11-24 分类于深度学习

线上安装经常出错，所以可以选择离线安装

发表于 2022-04-28 更新于 2022-11-24 分类于深度学习

创建单层神经网络