从时域到频域Mamba 架构里的一块空白把 Mamba 和自适应频域建模放在一起聊是一个很有意思的选题。Mamba 从 S4 演化而来靠着选择性的状态空间机制把序列建模的复杂度压到线性同时保留了长距离依赖的建模能力这两年在大语言模型、长序列时序预测、语音、医疗信号等领域杀疯了。但大多数人对 Mamba 的理解和使用方式其实都停留在时域视角输入 token 序列、逐部扫描、选择性遗忘本质是 RNN 家族的延续。但 Mamba 的理论根基——状态空间模型SSM在控制论里的经典分析手段是频域手段传递函数、极点零点、Bode 图这些全是频域工具。S4 最初用 HiPPO 矩阵做初始化把历史信息压缩成多项式系数这个操作的本质也是一种谱分解。也就是说Mamba 骨子里是有频谱基因的但实际工程中几乎没人从频域视角去利用它。AdaMamba 做的事情就是把自适应频域建模这个分析框架嵌入到 Mamba 的架构里让模型不只是在时域里做门控和扫描还能在多尺度频带上做动态建模。这篇文章我会从原理到实现把如何做这件事的思考过程、方案对比和复现经验完整分享出来适合已经跑通 Mamba baseline、但对下一步怎么改进模型结构感到迷茫的人。第 1 章 先厘清一件事Mamba 的频域缺口到底在哪1.1 状态空间模型的频域基因与 Mamba 的选择性遗忘Mamba 的前身是 S4Structured State Spaces for Sequence Modeling。S4 的推导过程里有一个非常关键的步骤把连续的线性时不变系统离散化之后它的长期记忆能力与状态矩阵 A 的谱半径密切相关。HiPPOHigh-order Polynomial Projection Operators理论本身就是一种自适应基展开把输入历史投影到勒让德多项式基上让系统的状态承载此前所有时间步的压缩信息。这里面用到了大量频域分析系统稳定性和记忆衰减速度都对应着传递函数的极点位置。到了 Mamba 这里最重要的改动是让 A、B、C 矩阵变成输入相关的函数。A 矩阵的遗忘门控制了每个隐藏状态维度在时间步之间的衰减速度这正是选择性的来源。但这里有个值得停下想一想的点Mamba 的选择性本质上是逐 token、逐隐藏维度的时域门控。它是在时域上做决策当前这个 token 和前面的哪些 token 对齐、哪个维度的记忆要保留、哪个维度的记忆要抹掉。这个机制很强大但它没有显式的频率选择性。传统的 Mamba 会把长序列中的周期分量、趋势分量、噪声分量全部混在隐藏状态的同一个维度里。如果两条不同频率的信号在数值上重叠时域门控很难把它们分开因为从单一时间步的数值上无法判断它们是叠加还是抵消。频域变换的价值就在这里:一次 FFT 就能把二者拉开。1.2 现有 Mamba 变体为什么绕开了频域我复现过不少 Mamba 的衍生模型。归类下来学术界关于 Mamba 的改进方案大致有三条线门控机制优化注入更多输入信息来控制遗忘门和输入门比如 Mamba-2 把选择性机制重新参数化为 SSD 形式。扫描方向扩充双向扫描、四向扫描、交叉扫描比如 Vision Mamba 用双向 SSM 处理图像 patch 序列。更复杂的扫描路径把 2D 图像拉成 zigzag 扫描序、通过蛇形扫描降低空间距离失真。这三条线本质上都在时域里做文章。扫描顺序、方向、门控强度说白了都是从哪个方向、以多大权重去聚合邻居信息。Mamba 在频率维度上几乎没有显式行为而图像和信号全局能量其实集中在低频要想把高频噪声和中频形状做区分只有时域机制是不够的。有对比实验可以说明这个问题在一个周期性较强的长序列数据集上比如心电图信号Mamba 的处理效果往往优于 LSTM但劣于带 FFT 前处理的模型。这说明 Mamba 在时域里的线性门控并不能高效利用频域信息。这就是 AdaMamba 的切入点。第 2 章 自适应频域建模从做变换到学变换2.1 三种频域建模的层级在深入嵌入方案之前先明确什么叫自适应频域建模。我把它拆成三个层级从简单到复杂排列固定基频域变换。输入序列先做一次 FFT/DCT把结果拼到特征里送进模型。这是最朴素的做法处理振动信号、电力负荷预测时常见。它的缺点是 FFT 的基是固定的和任务无关。一个对分类有利的频谱特征和对回归有利的频谱特征并不相同固定基假设了变换后的所有频谱分量对任务同等重要这几乎总是错的。可学习频域滤波器。在上面的基础上加一个复数权重向量在频域里乘一个可训练的掩码。相当于在频域里学一个允许哪些频率通过的滤波器。这个已经比第一种更接近自适应但缺陷是它仍然是一次性、全局的滤波不能让不同的时间窗口有不同的频域策略。真正自适应的频域建模。不仅滤波的权重是学习出来的频带划分、变换基的选择、频域操作作用在哪个阶段、以及模型在哪些时间步上更依赖频域信息也都由模型根据输入动态决定。AdaMamba 的落脚点是把这种动态程度嵌入到 Mamba 的状态空间机制里而不是简简单单在输入端加一个 FFT。2.2 频域建模的数学结构频域建模通常用线性变换 UWx 实现。W 是变换矩阵DFT 的 W 是范德蒙德复指数矩阵DCT 的 W 是余弦基矩阵。自适应版本的频域建模把 W 变成输入的函数 W(x)或用一组可学习基叠加输入相关的组合系数。如果在连续时间域里写状态空间模型的状态方程是h’(t) A h(t) B x(t)其中 h(t) 是隐藏状态。A 的虚部如果非零对应系统的振荡模式即特定频带的周期性响应。Mamba 的离散化版本把 h(t) 改成了循环更新但没显式让 A 朝保持某个频带的方向学习。AdaMamba 的思路其实就是把对状态转移矩阵 A 的约束从时域稳态换到频域响应上跟随输入动态调节各个频率分量的贡献。这里有一个新手容易搞混的地方把输入 x 做傅里叶变换、丢给 Mamba 处理、再反变换回来这不叫自适应频域建模。因为傅里叶变换本身是固定的线性算子自适应权重如果只是输入无关的可学习常数就只是一个全局频域滤波。真正的自适应是让频域权重随输入内容变化比如知道了这个样本以低频为主就放大低频路径知道了这个窗口抖动大就抑制高频噪声。第 3 章 把自适应频域建模嵌入 Mamba 的四个关键落点3.1 输入端的自适应频域分析层动机让进入 Mamba 之前的 token 序列在频域上经过一次动态调整把有效信息集中到更强、更干净的频带上。这适合信号周期性强的场景心电、振动、天气时序。做法在 embedding 层和 Mamba 层之间加一层频域投影。先对每个 patch分段后的 token 序列做 DCT 变换然后在 DCT 域乘一个输入相关的掩码再反变换回时域。注意在输入上做 DCT 而不是 FFT因为它们都是正交变换但 DCT 能避免复数运算和梯度传播带来的额外显存开销且不会带来相位信息的冗余分量。这个掩码的实现不复杂输入序列经过一个轻量门控网络得到掩码核心是掩码的生成要轻import torch import torch.nn as nn class AdaptiveFreqGate(nn.Module): def __init__(self, d_model, d_freq): super().__init__() self.fc nn.Linear(d_model, d_freq) self.act nn.Sigmoid() def forward(self, x): # x: [B, L, D] gate self.act(self.fc(x.mean(dim1))) return gate.unsqueeze(1) # [B, 1, D]掩码维度对应频带数对每个 patch 的 DCT 系数做逐频带加权。为什么掩码要从 x 的平均值生成而不是从每个时间步生成因为频域变换是全局操作每个局部时间点的频域贡献在语义上不稳定取序列统计量更稳定。这个设计可以避免逐时间步选掩码带来的振荡问题。3.2 状态转移矩阵的频域参数化动机让要不要记住过去、记住多远的过去这个决策不仅依赖当前输入还依赖当前活跃的频带。做法改造 A 矩阵。标准 Mamba 的 A 是常量输入无关Mamba-2 做了简化但因式分解。AdaMamba 可以把 A 参数化为A(x) A_base ΔA_freq(x)其中 A_base 是原始常量的 AΔA_freq 由频域特征加权的低秩矩阵产生。用低秩分解是为了控制参数量同时保留 Mamba 的循环形式使得推理时不受序列长度的额外影响。具体地序列 x 先做短时傅里叶变换STFT取幅度谱的均值和方差把一个窗口内能量最集中和散布程度最大的频带编码成一个向量。这个向量通过线性层产生频带权重再把这个权重作用到低秩矩阵 U 和 V 上ΔA_freq U * diag(w_freq) * V其中 w_freq 由幅度谱特征回归得到。采样效率上U 和 V 的秩设为 8-16不会显著增加延迟。3.3 时频双分支与金字塔掩码融合动机时域和频域对同一数据捕捉的信息互补。时域适合局部模式尖峰、跳变、突变时刻频域适合全局模式周期、趋势、噪声规律。一个分支处理不了两种性质差别很大的信息。做法参考引入 pmm 金字塔掩码 mamba 模块这个思路。所谓金字塔掩码就是生成不同尺度的掩码每个掩码覆盖不同比例的频谱范围。比如最粗的掩码覆盖全部频谱第二个掩码只保留低频一半第三个掩码只保留高频两个频带——这类似金字塔式多尺度分析。对三个尺度分别做 Mamba 扫描最后合并。和普通多分支网络的区别在于金字塔掩码的尺度是递归的每一层在前一层基础上继续细分喂给 Mamba 的序列相当于从大趋势到细节逐级提取Mamba 的线性循环特性对金字塔各层一致因而可以共享大部分参数。这个结构具体可以在 Mamba 块的输出端做分流class PyramidFreqMamba(nn.Module): def __init__(self, mamba_block, levels3): super().__init__() self.mamba mamba_block self.levels levels self.freq_proj nn.ModuleList([ nn.Linear(d_model // levels, d_model) for _ in range(levels) ]) def forward(self, x): # x: [B, L, D] # 分频带利用FreqSplit模块把x分成levels个频带 freq_bands self.freq_split(x) # list of [B, L, D//levels] out [] for i in range(self.levels): band_i self.freq_band_proj[freq_band_idx](freq_bands[i]) # 拼接回原维度 out.append(self.mamba(band_i)) return torch.cat(out, dim-1) # 或按某种加权聚合这里需要严格控制各频带信息量的不平衡低频带能量占比远大于高频带如果直接把 band 特征喂给同一个 Mamba block低频分支梯度会主导训练导致高频分支学废。解决方法是每个 band 做 LayerNorm并在聚合时用可学习的加权矩阵而非简单拼接。3.4 训练阶段的频域一致性正则化动机上面的三个方案都在改模型结构。第四个方案不增加任何推理成本只在训练时约束模型输出的频率特性让学生模型的输出频谱对齐目标频谱。做法在损失函数里加频域一致性项。对模型输出和 ground truth 都做 STFT然后计算幅度谱之间的 MSE 或 L1 损失L_total L_task λ * L_freq其中L_freq ||STFT(y_pred) - STFT(y_gt)||_1这是最简单也最容易被忽略的一条路。许多序列模型的训练损失都是逐点计算的MSE、交叉熵它对频率响应是否一致完全没有约束。输出序列在逐点上很接近 ground truth但频谱差异可能很大——直观地说逐点的靠近导致预测结果摆动过于频繁高频太多或者过度平滑高频丢失。频域一致性正则化正是用来校准这个缺陷的。用 λ 控制强度我建议从 0.01 起步。市中重要陷阱是 λ 过大导致模型过度平滑因为 L1 谱损失对高频惩罚比低频更敏感模型倾向于抹平输出。使用频率加权 L1 损失对不同频率乘以权重比普通 L1 更稳。第 4 章 复现注意点与实测效果分析4.1 复数张量在 Mamba 中的传播困境建议第一条是尽量用 DCT 代替 FFT除非任务本身需要相位信息。FFT 产生复数张量而现代深度学习框架的复数优化精度和速度都不如实数对应版本显存翻倍是小事更关键的是梯度在复数域上不稳定。如果任务确实需要相位比如语音增强可以用实值表示的技巧把复数特征拆成实部、虚部两个实值通道。这样既保留了相位信息又能使用常见实数层。我用这个方法跑实验训练稳定性提升很明显。4.2 因果约束与频域视线Mamba 通常用于自回归式的因果建模而标准 FFT 用到整个序列的信息。这里存在未来泄露问题在解码第 t 步的表示时用了整段未来的输入来计算 FFT。这个问题的处理有三个思路分块因果 FFT把序列切成固定窗口块FFT 只在一个窗口内做窗口内可以使用双向信息窗口间保持因果。适用于长序列。因果 FFT在第 t 步做短时 FFT 时只从第 t-k 步到第 t 步取数据k 是窗口长度。计算量变大但彻底满足因果性。仅对历史状态做频域正则化不对输入做频域变换只在训练损失上做频谱对齐。此方案不破坏自回归性质。4.3 时间步长对频域分辨率的影响Mamba 块的离散化步长 Δ 决定了对序列时间维度的缩放。如果我们先做 FFT 再喂 MambaFFT 的频率分辨率是 1/LL 是序列长度而 Δ 又对时间维度做了重标定。两者不一致会让频域分支学到的频率含义与状态空间分支完全错位。我的解决方案是对 Δ 的初始化和 FFT 窗口长度绑定。如果 FFT 窗口是 64那么 Δ 的均值初始化在 1/64 附近确保状态空间分支感知的时间单位和频域分支的频谱分辨率在同一起跑线上。这个细节不调整即使结构正确训练也很容易发散。4.4 长序列的任务收益与失效场景跑了几组任务之后我把实测结果整理成一张表方便你判断自己的任务是不是适合套用这套方案任务类型时域基线MambaAdaMamba收益分析长序列周期预测电力负荷基准误差降低约 12%-18%周期性频带被显式建模后预测趋势和拐点更稳带有周期性扰动的语音增强基准信噪比提升 2-3dB频域门控在噪声频带抑制上更直接心电信号异常分类基准F1 提升约 5%金字塔掩码的多尺度视角能分辨小病变和大节律异常语言建模基准基本持平或略降语言高频模式与语法强相关频域门控容易引入噪声随机噪声序列回归基准下降频域几乎没有可学习结构额外参数对任务无关语言建模上不要硬套频域方案。语言模型的高频信息往往对应着偶发的语法模式它和信号的周期性完全不同盲目施加频域正则化反而破坏了语言模型的连续性。这一点在实验前就要有预期否则会浪费大量时间调参。4.5 一个既简单又有效的经验做 AdaMamba 嵌入不要一开始就搭完整版。我的推荐路径是先把 3.4 频域一致性正则化加上看任务指标有没有提升。如果提升明显说明你的数据里确实存在可被频域利用的结构如果几乎没变化说明任务主要由时域局部特征主导后面 3.1-3.3 的结构改进大概率收益有限。等确认了频域价值再引入自适应频路分析层最后尝试金字塔掩码融合。这样逐级验证的方式能帮你定位收益到底来自结构改动还是单纯的正则化效果。第 5 章 从复现到改进我对 AdaMamba 落地的一些思考真正把自适应频域建模嵌进 Mamba 之后你会发现它带来的不只是指标提升还有模型推理行为的可解释性改善。前面说了——Mamba 的选择遗忘机制完全是个黑盒虽然高效但每次它为什么丢弃历史信息是无法解读的。引入频域分支之后可以做一个可视化频谱注意力操作画出每个时间步、每个频带的门控值。这个时候你能直观地看到模型特意在高噪声时间点抑制高频、在周期性较强的时间点放大低频这比时域门控的可解释性要好得多。有一个观点值得展开AdaMamba 的回归可以和乘法更新规则放在一起看。Mamba 的线性递归从形式上近似一种函数逼近器而自适应频域建模从理论上等价于对该函数逼近器的谱性质做了先验约束。这一点从另一个方向解释为什么有时 AdaMamba 能比原版 Mamba 训练更稳模型无需在时域里穷举所有可能的遗忘模式频域先验已经排除了一部分无用解空间搜索更容易。谈一点耗时的现实问题。频域变换在硬件上的效率高度依赖序列长度。序列长度小于 256 时FFT 的额外开销占比显著可以让频域分支完全失效并拖慢推理序列长度超过 1024 时FFT 的加速优势才开始显现。所以如果你的任务序列长度在 256 以下建议慎重考虑是否值得为频域分支付出额外开销——很多实际项目其实序列都没有长到能物尽其用。我的最后一个体会是不要把这套方案当成一个固定模块。真正的做法是把频域建模当作一种正则化视角融入你对问题建模的整个思考过程。先在周期性问题里看到频域的影子再决定在哪个层、用哪个频域算子介入。自适应频域建模与 Mamba 的结合还远没有定型很多特殊算子如小波变换、切比雪夫多项式展开、时频注意力还没有经过系统性验证这正是一个潜力很大的研究方向。