25层堆叠也不发散VisionHOPE 用非扩张动力学把自修改钉进了安全区【免费下载链接】VisionHOPE项目地址: https://ai.gitcode.com/hf_mirrors/PSRben/VisionHOPE让视觉主干在推理时边看图边改自己——这个概念足够诱人但也足够危险。一个自修改系统意味着记忆在内部反馈回路中自我更新而反馈回路最经典的下场就是指数级放大误差沿着上下文与层数滚雪球最终一步 NaN训练直接蒸发。这正是 VisionHOPEarXiv:2609.33325出现之前自指式学习self-referential learning难以落地的根本障碍。VisionHOPE 给出的答案是一套稳定性匹配步长控制用软注入上限做光滑限幅用谱夹强制保留过渡的谱范数上界并在数学上证明记忆动力学沿每次扫描非扩张non-expansive。本文基于论文原文推导、消融实验数据与仓库实据config.json拆解这套安全区机制的工作原理并解释为什么 Small/Base 骨架可以在第 3 阶段堆叠 25 层而不发散。自修改的诱惑与失控的根源视觉骨干的演化有一条清晰的脉络CNN 做局部聚合ViT 引入内容相关的全局交互SSM/Mamba 让状态转移依赖输入Test-Time TrainingTTT则更进一步——用一个内层学习器作为循环状态在图像内实时更新。但 TTT 有一个未竟之处被更新的内层学习器本身、以及它的更新规则仍然由外层参数预设。换句话说网络在改什么上变灵活了但怎么改还是死的。VisionHOPE 基于 Nested Learning 的自指构造把记住什么与怎么学同时放进演化五个耦合记忆——内容记忆 $M^m_t$、键记忆 $M^k_t$、值记忆 $M^v_t$、学习率记忆 $m^\eta_t$、保留记忆 $m^\alpha_t$——沿扫描方向共同演化。每个记忆都用自己的自生成目标来更新自己即 Self-Referential DGDSR-DGD$$ M^\square_t M^\square_{t-1}\left(\alpha_t I_d - \eta_t k_t k_t^\top\right) - \eta_t g^\square_t k_t^\top $$问题在于这个更新是自己决定自己的闭环更新的量键、值、步长、保留因子由记忆自身生成而记忆又因这些量而更新。论文用反向三角不等式展示了失控的通道$$ |\alpha_t I_d - \eta_t (k_t\delta_t) k_t^\top|_2 \geq \eta_t |k_t|_2 |k_t\delta_t|_2 - \alpha_t $$一旦 $\eta_t|k_t|_2|k_t\delta_t|_2 1\alpha_t$单步转移就是膨胀的expansive而膨胀会被自指反馈沿上下文逐 token 复合。这正是社区文章所称稳定性壁垒的技术内核不约束这个闭环任何深一点的堆叠都会在训练早期直接数值发散。步长不是超参每步在线算安全剂量VisionHOPE 的关键设计之一是把 $\eta_t$学习步长与 $\alpha_t$保留因子变成由记忆在线生成的量而不是人工固定的超参数$$ \eta_t \phi_\eta(m^\eta_{t-1} x_t) \gamma_\eta,\mathrm{softplus}(s^\eta_t), \qquad \alpha_t \phi_\alpha(m^\alpha_{t-1} x_t) \sigma\left(s^\alpha_t \log\frac{\alpha_{init}}{1-\alpha_{init}}\right) $$其中 $\gamma_\eta 0.025$、$\alpha_{init} 0.9$初始保留因子保留 90% 的旧记忆同时留下 $1-\alpha_{init}0.1$ 的初始稳定性余量给自指注入。注意 $\phi_\eta$ 输出恒正、$\phi_\alpha$ 输出落在 $[0,1)$这为后续的非扩张证明提供了结构性前提。社区解读中常说的在线谱估计动态调控步长落到论文里就是谱夹那一环——每个 token 依据当前键向量范数即时估算保留过渡的谱界限并据此限幅。而学习率记忆与保留记忆的存在意味着步长本身也随图像内容与记忆状态实时变化论文的消融与可视化执行步长 $\tilde{\eta}_t$ 的热力图显示显著物体与独特结构区域对应的步长更大模型确实学会了在哪里该更用力地修改自己。配合 chunk 化边界状态并行生成 token 相关量、token 顺序累计状态更新这套步长控制在 chunk 形式下形式不变让逐 token 的在线估计仍能以并行方式高效计算。软上限与谱夹光滑限幅 互补算子界有了原始步长 $\eta_t$还需要把它改造成安全的步长。VisionHOPE 的稳定性匹配步长控制由两个互补的闸门组成。软注入上限soft injection cap。记键值差 $\delta_t k_t - v_t$先算稳定化幅度 $r_t \sqrt{|\delta_t|_2^2 \epsilon^2} \epsilon$$\epsilon 10^{-6}$再定义注入步长上限 $\eta_t^{inj} (1-\alpha_t)/r_t$最后做光滑压缩$$ \bar{\eta}_t \eta_t^{inj}\left(1 - \exp\left(-\frac{\eta_t}{\eta_t^{inj}}\right)\right) $$这个形如软 ReLU 的对偶函数有三个关键性质光滑、严格递增导数 $\exp(-\eta_t/\eta_t^{inj}) \in (0,1)$、且在 $\eta_t0$ 附近一阶保持小步长——展开得 $\bar\eta_t \eta_t - \eta_t^2/(2\eta_t^{inj}) O(\cdot)$。也就是说它既能把注入步长压到极限之下又不破坏学习率记忆原本给出的精细调节。对照消融实验如果换成硬注入夹 $\min(\eta_t, \eta_t^{inj})$精度从 82.3 掉到 81.8硬夹在推理时有 49.68% 的 token 更新被触发粗暴截断反而丢掉了原始步长的量级信息。谱夹spectral clamp。保留过渡的谱上界要求 $|A_t|_2 \le \alpha_t$其中 $A_t \alpha_t I_d - \tilde\eta_t k_t k_t^\top$ 的特征值为 $\alpha_t - \tilde\eta_t|k_t|_2^2$沿 $k_t$ 方向与 $\alpha_t$正交方向。由此反解出谱限 $\eta_t^{spec} 2\alpha_t/|k_t|_2^2$最终执行的步长取二者较小者$$ \tilde{\eta}_t \min\left(\bar{\eta}_t,\ \eta_t^{spec}\right) $$两个闸门合起来给出互补算子界Proposition 1保留过渡 $|A_t|_2 \le \alpha_t$自指注入 $|B_t|_2 1-\alpha_t$。注意第二界的微妙之处——$\alpha_t$ 越接近 1留给注入的收缩余量 $1-\alpha_t$ 越小即越保留旧记忆越不允许大幅自我改写两者共享同一个资源预算。三角形不等式立刻给出完整过渡界 $|T_t|_2 \alpha_t (1-\alpha_t) 1$于是 token 级非扩张Corollary 1成立$$ |T_t|_2 1, \qquad |M^\square_t|F \le |M^\square{t-1}|_F $$每个记忆状态矩阵的 F 范数沿扫描单调不增被自己的初值牢牢钉住。chunk 级证明Theorem 1更进一步同一 chunk 内五个记忆共享同一个右乘增益 $G_t$其范数上界可写成伸缩级数 $\prod \alpha_s \sum_j (1-\alpha_j)\prod \alpha_s$恰好精确坍缩为 1从而 $G_t$ 谱范数严格小于 1chunk 末状态范数不超 chunk 初状态。工程实现还留了一层双保险论文在注入限与谱限上分别乘以 $1-10^{-3}$ 与 $1-10^{-6}$ 的内收因子$|k_t|_2^2$ 分母被显式下界到 $10^{-20}$且键向量做稳定化 L2 归一化——保证有限精度下界值也严格落在可证明的安全区内。25 层深堆叠不放大意味着什么先看仓库实据。config.json 给出三档规格VisionHOPE-Tembed_dims [64,128,256,512]depths [3,4,18,4]VisionHOPE-Sembed_dims [64,160,320,512]depths [4,8,25,8]VisionHOPE-Bembed_dims [96,192,448,640]depths [4,8,25,8]第 3 阶段16× 下采样分辨率集中堆叠了 18~25 个 VisionHOPE 块Small 与 Base 都是 25 层——深度一致、仅宽度不同。在一个含自指反馈的骨干里堆 25 层每一层内又有四个方向的扫描一张图内累计约 100 条自修改记忆演化序列。若非扩张保证失效任何一层、任何一条序列的误差放大都会指数传导而恰恰是$|M^\square_t|F \le |M^\square{t-1}|_F$这条看似朴素的不等式把整条链路的范数增长封死在初值处。这个性质直接转化为两件事。其一训练不炸消融表中移除软注入上限的变体在训练早期前向直接 NaN这是反馈回路失控最直观的实证而完整方案软上限谱夹稳定跑完全程且精度 82.3 高于任何单组件替代。其二深度变得免费因为状态范数有界加深层数不再自动带来稳定性税——这也解释了为什么 S/B 敢把第 3 阶段加深到 25 层而性能依然随宽度与深度同步增长。值得注意的是谱夹的激活率推理时仅有 0.0044% 的 token 更新触发谱限训练前十个 warmup epoch 内更是只有 0.0011%。这组数字透露的设计哲学是谱夹像保险丝常态下几乎不工作但它以可证明的方式兜住了极少数应该被拦下的更新而软注入上限承担了日常的调节职能。两个闸门一软一硬、一主动一被动缺一不可。落到社区最关心的那个问题上自修改系统凭什么能当下一代主干——答案是先用数学钉住安全区再谈精度。非扩张保证就是这套系统的安全带它能改自己但每一步改写都被范数界约束25 层也好、四方向扫描也好都不会把误差滚成雪球。从证明到权重仓库里的落地理论最终要落到可下载、可复现的工程。仓库 README.md 提供了 12 份官方预训练权重覆盖 ImageNet-1K 分类、COCO 检测/实例分割1× 与 3× 双协议、ADE20K 语义分割全部按 MIT 协议开源可用 Hugging Face CLI 一键拉取hf download PSRben/VisionHOPE visionhope_small.pth --local-dir weights上手接口同样轻量SRNL(dim64, head_dim16, chunk_size64)直接处理[batch, tokens, dim]序列VisionHOPEOperator与VisionHOPEBlock保留[B, C, H, W]特征图形态prepare_for_inference可把参数原地融合以加速推理——自修改系统并非只能停留在论文公式里而是可以当普通骨干一样嵌入你的分类、检测、分割项目。稳定性的价值最终由基准成绩背书。ImageNet-1K 上VisionHOPE-T/S/B 分别取得84.1 / 85.2 / 85.6Top-1T 档 27M 参数、4.9G FLOPs在所有规模面板上压过 ConvNeXt、InternImage、VMamba 乃至 TTT 系 H-ViT3COCO 1× 协议下 Mask R-CNN 的 box AP 达到47.9 / 49.5 / 50.5与 H-ViT3-B 并列 B 档最优ADE20K 上 UPerNet 以49.4 / 50.3 / 51.8mIoU 全面领先B 档比 ConvNeXt-B 高 2.7 个点。三档模型在第 3 阶段堆 18~25 层、每层跑四方向扫描仍保持线性的 token 复杂度与内存$\mathcal{O}(BND)$这正是非扩张保证 工程效率同时成立的注脚。自指式学习在语言建模侧已有 Nested Learning、Titans 等先例VisionHOPE 的意义在于把这条路线推进到通用视觉骨干并用可证明的非扩张动力学解决了能学习的学习在视觉上的稳定性门槛。25 层不发散不是一个营销话术而是一条可推导、可消融验证、可下载复现的性质链——对想尝试自修改主干的工程团队而言这或许是比精度数字更值得先读懂的型号说明。【免费下载链接】VisionHOPE项目地址: https://ai.gitcode.com/hf_mirrors/PSRben/VisionHOPE创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考