江东的笔记

基于BERT的文本分类

发表于 2022-11-21 更新于 2022-11-24 分类于自然语言处理

通过智能化手段识别其中是否存在“虚报、假报”的情况

发表于 2022-11-20 更新于 2022-11-24 分类于自然语言处理

Transformer最终总结版，超级详细！

发表于 2022-11-16 更新于 2022-11-24 分类于自然语言处理

Warmup可以逐渐地将学习率从一个小的值提升到一个大的值

发表于 2022-11-15 更新于 2022-11-24 分类于自然语言处理

Transformer中的MASK主要分为两部分：Padding Mask和Sequence Mask两部分

发表于 2022-11-13 更新于 2022-12-30 分类于竞赛

第五届“泰迪杯”数据分析技能赛-全国二等奖

发表于 2022-11-08 更新于 2022-12-30 分类于竞赛

2022年第三届“大湾区杯”粤港澳金融数学建模竞赛-全国三等奖

发表于 2022-10-27 更新于 2022-11-24 分类于竞赛

2022年中国大学生计算机设计大赛-人工智能挑战赛-国家二等奖

发表于 2022-10-14 更新于 2022-11-24 分类于竞赛

2022年全国大学生数学建模竞赛山东省一等奖

发表于 2022-10-10 更新于 2022-11-24 分类于自然语言处理

在Multi-Head Attention中，主要是进行矩阵乘法，即都是线性变换，而线性变换的学习能力不如非线性变换的学习能力强

发表于 2022-10-09 更新于 2022-11-24 分类于自然语言处理

无论是layernorm还是instancenorm，还是我们手动去求平均计算其Norm，结果都是一样的，由此我们可以得出一个结论：Layernorm实际上是在做Instancenorm！