摘要尽管神经网络，特别是多层感知器（MLP）和变换器（Transformer），取得了显著的成功，但作者发现它们在建模和推理周期性方面存在潜在缺陷，也就是说，它们往往只是记忆周期性数据，而不是对周期性的基本原理进行真正理解。然而，周期性是各种推理和泛化中的一个关键特征，它通过观察中的重复模式支撑着自然和工程系统的可预测性。在本文中，作者提出了FAN，一种基于傅里叶分析的新型网络架构，它增强了高效建模和推理周期现象的能力。通过引入傅里叶级数，周期性自然地融入了神经网络的结构和计算过程中，从而实现了对周期模式更准确的表达和预测。作为多层感知器（MLP）的一个有前景的替代方案，FAN可以在各种模型中无缝替换MLP，同时参数和FLOPs更少。通过大量实验，作者展示了FAN在建模和推理周期函数方面的有效性，以及它在包括符号公式表示、时间序列预测和语言建模等一系列现实任务中的优越性和可推广性。
研究背景尽管神经网络在许多领域取得了显著成功，但它们在对周期性的建模和推理方面存在潜在缺陷。周期性是自然和工程系统中可预测性的关键特征，通过观察中的重复模式来支撑。
主要贡献提出了FAN，一种基于傅里叶分析的新型神经网络架构，用于有效建模和推理周期现象。证明了FAN在模拟和真实世界任务中的有效性，包括符号公式表示、时间序列预测和语言建模。展示了FAN在参数数量和计算复杂度上相比传统MLP的优势。研究方法作者提出了一种新的神经网络层——FAN层，它利用傅里叶级数来建模周期性。这种设计允许网络更有效地表示周期函数，并可以作为传统MLP的替代品。
实验结果通过广泛的实验，作者证明了FAN在模拟周期函数、符号公式表示、时间序列预测和语言建模等任务中的优越性能。与MLP、KAN和Transformer等现有模型相比，FAN在周期性建模方面尤其出色。
结论FAN作为一种新的神经网络架构，能够有效地建模周期性，并且在多个实际任务中展现出优越的性能和泛化能力。它有望成为基础模型骨干的重要组成部分。
一句话总结这篇论文提出了一种基于傅里叶分析的新型神经网络架构，该架构在周期性建模和多种实际任务中显示出比现有模型更优越的性能。
论文链接https://arxiv.org/abs/2410.02675
