|
论文题目:Bridging the Geometry Mismatch: Frequency-Aware Anisotropic Serialization for Thin-Structure SSMs
出版信息:Computer Vision – ECCV 2026, Springer LNCS, pp. 515–532
1. 为什么细长结构分割仍然很难?
裂缝、道路、血管、月球线性构造等目标与普通语义分割中的大面积物体存在本质差异。对于这类结构,一个很小的局部缺失就可能切断整条目标的连通关系;反过来,一小段背景纹理被误判为前景,也可能形成错误分支。因此,细长结构分割不仅要求较高的区域重叠精度,还需要尽可能维持目标的连续性、骨架完整性和拓扑关系。
近年来,Mamba 与视觉 State-Space Model(SSM)因线性复杂度下的长程建模能力受到关注。但视觉 SSM 通常需要先把二维特征图转换为一维序列,再进行状态传播。常见的 raster scan 或固定方向扫描隐含了一个假设:扫描顺序能够较好地保持空间邻接关系。对于弯曲且具有强方向性的细长结构,这一假设往往并不成立。
论文把这一现象概括为“Geometry Mismatch”:目标在二维空间中沿自身轨迹连续延伸,但序列化后的状态传播路径却可能频繁横穿目标,导致本应连续的几何关系在一维序列中被打散。
2. 核心思路:把“扫描顺序”变成几何建模的一部分
FGOS-Net 的核心思想可以概括为:先利用频率信息建立更稳定的拓扑载体和方向先验,再根据这些几何信息决定 SSM 应该如何序列化与传播。与把二维特征直接按固定顺序展开不同,网络在每个 FGOS Block 中依次完成“分解(Disentangle)—对齐(Align)—建模与筛选(Model & Gate)—重建(Merge)”。
· DWT 频率解耦:将特征拆分为相对稳定的低频拓扑载体 XLL 与具有方向性的高频子带 XLH、XHL、XHH。
· 几何对齐:利用高频方向信息预测轻量偏移场,对下采样造成的局部空间错位进行校正,但不直接把全部高频纹理灌入拓扑分支。
· FA-Scan:根据频率子带方向选择不同的序列化轨迹,使 SSM 的长程传播更贴合结构几何。
· ASGP:以低频拓扑为条件主动筛选高频细节,仅在结构一致的位置注入边缘信息,从而抑制背景纹理泄漏。
· IDWT 重建:将经过建模的拓扑信息与经过筛选的细节重新组合,恢复完整特征。

图 1 FGOS-Net 整体框架。网络以频率-几何解耦为主线,将拓扑建模与高频细节筛选分开处理。
3. FA-Scan:让不同方向的信息沿更合适的路径传播
FGOS-Net 的第一个关键模块是 Frequency-Aligned Scan(FA-Scan)。作者没有把扫描策略视为固定的数据整理步骤,而是把它提升为一个具有明确几何归纳偏置的建模决策。
在对齐后的低频拓扑载体上,网络再次进行局部 Haar DWT,并为不同子带指定不同的序列化方式:具有明显水平信息的子带采用 Horizontal Scan,具有明显垂直信息的子带采用 Vertical Scan;对相对各向同性的 LL 与 HH 分量,则采用 Hilbert 曲线,以尽可能缩短二维邻域在线性序列中的距离。
这一设计的重点并不是“使用更多扫描方向”,而是让扫描路径与频率子带所表达的几何方向对应起来。FA-Scan 本身只改变索引顺序,不引入额外可学习参数,因此可以在较低开销下为 SSM 注入更适合细长结构的方向先验。

图 2 FA-Scan 与轻量化 LGB。不同频率子带采用与其方向特征相匹配的扫描轨迹。
4. ASGP:高频细节不是越多越好,而是要经过拓扑验证
高频分量能够提供裂缝边缘和细节,但同样会携带水渍、材料纹理、光照变化等大量背景响应。如果简单进行拼接或相加,网络虽然可能得到更“锐利”的边界,却也更容易产生伪分支与纹理误检。
为此,论文提出 Active Spectral-Geometric Probing(ASGP)。模块首先在低频拓扑载体上形成粗粒度结构势场 M0,然后通过可微分的梯度引导与语义偏移,使一组稀疏探针沿高响应的曲线结构逐步移动。同时,引入多样性约束,避免探针全部聚集到少数高响应位置。
经过多步演化后,探针生成更细粒度的结构支持区域,并形成最终空间门控。只有与低频拓扑一致的高频信息才会被保留下来。因此,ASGP 实际上把“是否注入某段高频细节”变成了一个由全局结构一致性约束的条件判断。

图 3 ASGP:从粗感知到梯度引导的探针演化,再到拓扑条件下的高频门控与注入。
5. 实验结果:同时关注区域精度、连通性与效率
论文在 DeepCrack、Crack500、CrackMap 和 TUT 四个裂缝分割基准上进行了实验。评价指标不仅包括 mIoU、F1、
Precision、Recall,也包括边界指标 ODS 和更关注骨架连通性的 clDice。这种评价设置与本文问题定义是一致的:对于细长结
构,仅看像素级重叠并不足以反映是否真正保持了长距离连续性。
表 1 FGOS-Net 在四个主要裂缝基准上的代表性结果
数据集 | mIoU (%) | clDice (%) |
DeepCrack | 91.29 | 97.12 |
Crack500 | 79.15 | 83.85 |
CrackMap | 80.75 | 92.48 |
TUT | 85.73 | 91.98 |
在 DeepCrack 上,FGOS-Net 达到 91.29% mIoU 和 97.12% clDice;在纹理干扰明显的 CrackMap 上,模型取得80.75% mIoU 和 92.48% clDice。这些结果表明,几何对齐的状态传播与拓扑条件下的高频筛选可以同时缓解断连和纹理泄漏两类典型问题。

图 4 定性比较。FGOS-Net 在低对比度、纹理干扰和复杂背景下更倾向于保持连续结构,同时减少非结构性误检。
6. 从裂缝到血管与道路:这种几何归纳偏置能否迁移?
为了验证方法是否只针对裂缝任务有效,论文进一步在 CHASEDB1 视网膜血管分割和 Massachusetts Roads 航空道路提取上进行跨域测试,并保持相同网络结构与主要超参数。FGOS-Net 在 CHASEDB1 上达到 80.45% mIoU / 83.35% clDice,在 Massachusetts Roads 上达到 79.83% mIoU / 80.86% clDice。
这组实验的意义在于:FGOS-Net 所利用的并不是某一种材料纹理或某一个裂缝数据集的特定先验,而是细长结构普遍具有的方向性、连通性与高频细节歧义。因此,“让序列化方式服从结构几何”这一设计思路有机会推广到更广泛的线状与管状目标。
7. 启示:视觉 SSM 中,“怎么扫描”本身就是模型设计
过去讨论视觉 SSM 时,人们往往把注意力放在状态空间模块本身的参数化方式、门控结构和计算效率上。但对于需要把二维特征转换为一维序列的模型而言,序列化顺序本身已经在决定哪些空间位置会更早、更直接地发生信息交互。
FGOS-Net 的一个重要出发点,就是把 serialization 从“实现细节”提升为“显式几何建模”。频率分解在这里也不只是传统意义上的特征增强工具,而是为方向识别、空间对齐和细节筛选提供统一接口。换句话说,这项工作希望建立一条更清晰的逻辑链:频率提供方向与结构线索,几何信息决定扫描路径,拓扑一致性再决定哪些细节值得被注入。
对于裂缝、血管、道路、河网、线状地物、月球线性构造等任务,这种“频率—几何—序列化”视角提供了一种不同于单纯扩大感受野或增加注意力模块的建模路径。
8. 总结
FGOS-Net 针对细长结构分割中的序列化几何失配问题,将频率解耦、局部空间校准、方向感知扫描和拓扑条件细节注入整合到统一框架中。其核心并不是追求更复杂的扫描模式,而是让 SSM 的状态传播方式更符合目标本身的几何属性。
从实验结果看,该方法在四个裂缝基准上取得了较好的区域精度与拓扑连通性表现,并保持 7.87 GFLOPs、80.2 FPS 的计算效率;在血管和道路任务上的跨域结果也表明,这一思路具有超出裂缝场景的潜力。
ECCV 2026 论文下载页面:https://eccv.ecva.net/virtual/2026/poster/5356 ;
Springer/DOI:https://doi.org/10.1007/978-3-032-37369-4_28 ;
代码仓库(GitHub):https://github.com/kbaijin/FGOS-Net
引用信息:Bai, J., Zhang, H., Wen, Q., Li, N., Li, S., Rahman, A. u., & Tian, X. Bridging the Geometry Mismatch:
Frequency-Aware Anisotropic Serialization for Thin-Structure SSMs. ECCV 2026, pp. 515–532.
Archiver|手机版|科学网 ( 京ICP备07017567号-12 )
GMT+8, 2026-10-22 14:01
Powered by ScienceNet.cn
Copyright © 2007- 中国科学报社