简化版Transformer来了

flyoncloud

Transformer 架构可以说是近期深度学习领域许多成功案例背后的主力军。构建深度 Transformer 架构的一种简单方法是将多个相同的 Transformer 「块」（block）依次堆叠起来，但每个「块」都比较复杂，由许多不同的组件组成，需要以特定的排列组合才能实现良好的性能。

自从 2017 年 Transformer 架构诞生以来，研究者们基于其推出了大量衍生研究，但几乎没有改动过 Transformer 「块」。

那么问题来了，标准 Transformer 块是否可以简化？

在最近的一篇论文中，来自 ETH Zurich 的研究者讨论了如何在不影响收敛特性和下游任务性能的情况下简化 LLM 所必需的标准 Transformer 块。基于信号传播理论和经验证据，他们发现可以移除一些部分，比如残差连接、归一化层（LayerNorm）、投影和值参数以及 MLP 序列化子块（有利于并行布局），以简化类似 GPT 的解码器架构以及编码器式 BERT 模型。

对于每个涉及的组件，研究者都探讨了是否可以在不降低训练速度的情况下将其移除（包括每次更新步骤和运行时间），以及为此需要 Transformer 块进行哪些架构修改。

论文链接：https://arxiv.org/pdf/2311.01906.pdf

Lightning AI 创始人、机器学习研究者 Sebastian Raschka 将这项研究称为自己的「年度最爱论文之一」：

对此，图灵奖得主 Yann LeCun 的评价是：「大家仅仅触及了深度学习架构领域的皮毛。这是一个高维空间，因此体积几乎完全包含在表面中，但大家只触及了表面的一小部分。」