揭示Transformer重要缺陷！北大提出傅里叶分析神经网络FAN，填补周期性特征建模缺陷

AIxiv专栏是机器之心发布学术、技术内容的栏目。过去数年，机器之心AIxiv专栏接收报道了2000多篇内容，覆盖全球各大高校与企业的顶级实验室，有效促进了学术交流与传播。如果您有优秀的工作想要分享，欢迎投稿或者联系报道。投稿邮箱：liyazhou@jiqizhixin.com；zhaoyunfeng@jiqizhixin.com

本文的通讯作者是北京大学计算机学院长聘教授李戈。第一作者：董益宏，北京大学计算机学院 22 级博士生，曾在 ISSTA、FSE、ACL、NeurIPS、TOSEM 等 CCF-A 类 / SCI 一区国际顶级会议和期刊上发表 11 篇学术论文。

• 论文链接：https://arxiv.org/pdf/2410.02675.pdf
• 代码链接：https://github.com/YihongDong/FAN
• 论文标题：FAN: Fourier Analysis Networks

为构建一个简单的神经网络表示函数的傅里叶级数展开，我们可以将表示为：

其中是可学习参数，(I) 根据和通过定积分计算，(II) 和 (III) 是矩阵运算的等价形式，[・||・] 和 [・,・] 分别表示沿第一维度和第二维度的连接。为了充分利用深度学习的优势，我们可以堆叠上述网络形成深度神经网络，其中第 i 层表示为。因此， 可以表示为：

其中表示左侧函数作用于右侧输入，即。然而，我们发现直接堆叠会导致模型的主要参数集中于学习角频率 ()，从而忽略了傅里叶系数 (和) 的学习，如下所示：

其中定义为，用于近似角频率，用于近似傅里叶系数。因此，拟合傅里叶系数的能力与的深度无关，这是一个不理想的结果。

假设我们将解耦为：

其中

为了满足这两个原则，FAN 的中间层输入需要同时使用和而不是依次应用它们。

最终，FAN 基于此设计，其 FAN 层定义如下：

其中是可学习参数，表示激活函数。

整个 FAN 定义为 FAN Layer的堆叠：

其中