17.3 “子特征结构”聚类

一、聚类函数

2015年2月15日，AI在图像识别领域取得里程碑进步，微软AI在图像识别的基准测试中准确率首次超越了人类。当时微软深度学习系统错误率为4.94%，而人类在归类数据库ImageNet中的图像时错误率高于5.1%。

物以类聚，人以群分。这是大自然最重要的基本规律，也是我们认知大千世界的主要途径。 聚类函数是机器学习常用算法，特别是在智能化要求更高的无监督学习领域。聚类函数的作用是识别同一“子特征类”信息，自动聚为一类“闭子集”图形。如果我们把图形中所有的子特征空间要素看作一个集合，聚类就是根据像素的特性属性异同，把像素分割到一个个不同特征的子集。对不同子集的不同子特性进行分类，然后分别处理之。如果正确分类了不同子特性的子集，就有望获知图像中隐含的宏观、基本、框架等的结构信息的意义。

聚类算法是无监督学习的核心技术，旨在发现数据中的自然分组结构，无需预先标注。在深度学习中，聚类常作为特征学习或数据挖掘的预处理步骤，例如用于图像分割、对象分群等。常见聚类算法包括K-Means、层次聚类和DBSCAN，它们基于不同原理划分数据，是复杂系统普遍适用的结构分析方法。

K-Mean通过迭代优化将数据划分为K个球形簇，依赖欧氏距离计算，对初始质心敏感且需预设K值；层次聚类构建树状结构，支持自下而上（凝聚）或自上而下（分裂）策略，能识别任意形状簇但计算复杂度较高；

DBSCAN则基于密度定义簇，可自动确定簇数量并识别噪声点，适用于分布不均的数据。

聚类算法的关键在于找到像素间的“共同相似性”。

聚类的作用不仅仅在于分析图像，在所有的复杂系统中，聚类都有特殊意义。通过“聚类”，能够把杂乱无章一团乱麻，整理归纳聚类清分，然后在宏观角度一目了然。

比如下面是纽约时报介绍的阿富汗社会结构情况，第一感觉完全是杂乱无章一团乱麻：

第一步，为了突出重点，先把距离远（相关性不强）的元素去掉：

第二步，对元素按照子特征属性进行子集归类：

第三步，当我们把不同种类的元素标识不同颜色进行子集归类，那么即使系统结构复杂，链接线路繁多，我们也能在层次分类之后，看出不同子集类别之间的层次关系：

只有聚类算法能够把图片中不同种类的物体分类，自主学习的擎天柱（Optimus）等机器人才能分清哪些像素代表桌子、椅子，哪些是人，哪里代表了墙。 如何在一大堆数据中抽象出有价值的信息，“聚类”显然不可或缺。

深度学习的聚类函数，实质上是引导神经网络通过非线性变换，在特征空间中自发形成“低熵有序结构”的优化目标。它将传统聚类准则（如距离最小化）转化为可微的损失函数，从而能利用梯度下降进行大规模高效优化。进一步看，深度聚类的过程可以视为一种数据空间的“对称性破缺”。

①初始，处于高对称状态，网络数据在特征空间中的分布相对均匀、无序（高熵）。

②然后，在聚类损失函数的驱动下，网络参数优化导致特征空间发生扭曲，优化引发破缺，形成若干个势能洼地（聚类中心）。数据点被吸引到不同的洼地中，形成了清晰的簇结构（低熵、有序）。聚类函数正是驱动这一有序化相变的序参量，从而涌现有序态。

二、高阶聚类

通过子特征信息归纳分类得到整体特征类别的框架结构，将很容易从低纬度空间分类映射到高维度类别结构特征信息。

比如从两维平面图形中还原3D立体图像。前面3.4节，我们提到过“空间折叠”现象非常意思。因为虽然折叠后的物体已经变形，但某些结构关系却仍然有痕迹。 我们有可能通过聚类手段切割各个子类，然后分析子特征类之间的关系，从而恢复出折叠之前的空间结构面貌：

从前，不少学者认为将二维平面图像还原到高纬度，是天方夜谭的神话。现在，这个神话在机器学习的处理下易如反掌。让我们直观地感受下聚类算法的视觉冲击，下面是斯坦福机器学习教学视频，从平面图形中还原3D、四维（3D+时间）的图像（可以从52分钟看起）：

http://open.163.com/movie/2008/1/M/C/M6SGF6VB4_M6SGHFBMC.html

三、动态聚类

浙大无人机群能像鸟群一样自主穿越树林，然后自动重组队形。

每架无人机通过摄像头和传感器实时扫描环境，遇到障碍物（比如竹竿）时，会计算出最优绕行路径。时空轨迹优化，动态避障算法不仅规划空间路线，还精确控制飞行时间。比如前机减速通过缝隙时，后机会自动调整速度，避免碰撞。当感知到障碍物时，避障是最高优先级的任务。无人机采用改进的人工势场法等算法，将障碍物视为“斥力”，目标方向视为“引力”，实时计算出一条安全的局部路径。当障碍消失后，系统会从“避障模式”切换回“队形保持模式”。每架无人机都知道自己在目标队形中应该处于什么位置。

即使被干扰打散队形，它们也能根据共享数据迅速找到新位置，恢复编队。无人机不依赖GPS，而是仅凭自身搭载的微型传感器和机载计算单元，实时构建周围环境的地图并确定自身位置。在树林等复杂环境中，各无人机感知到的局部信息通过通信网络共享，使集群获得对环境更全面的理解。即使暂时单机偏离编队位置，编队控制与一致性算法也能恢复“法则”秩序。通过一致性算法，无人机仅与邻近的“队友”通信，不断调整自己的速度与航向，最终使整个集群的状态（位置、速度）达成一致，如同鸟群一样自然恢复队形。无人机之间实时交换位置和速度信息，形成去中心化协作群体智能。

集群通信与协同决策形成“群体智慧的神经网络”，整个集群通过自组织网络进行通信。这种网络没有中心节点，任意两架无人机都可以直接或通过“同伴”中继建立连接，具有很强的抗损性。基于共享的信息，集群能做出协同决策，例如共同围捕目标或高效覆盖一片区域。无人机群能自动归位，本质是分布式控制、仿生智能与协同算法共同作用的结果。它模仿了自然界鸟群、鱼群的智能涌现：个体遵循简单的局部规则（如避障、向邻居靠拢），整个群体便能展现出复杂的、鲁棒的集体行为。运用AI强化学习让无人机自己学会最优的集群策略，集群规模变得更大、智能程度更高。

这个度量的巧妙之处在于，它对编队的整体平移、旋转和缩放保持不变。这意味着无论队伍整体如何移动、转向，只要内部相对结构不变，算法就认为队形保持良好，这非常适合在树林中灵活穿行。核心创新是定义了一个可微的编队相似性距离度量。它计算当前队形与期望队形的归一化拉普拉斯矩阵之差。

通过分布式算法（多）在局部遵循简单规则，最终涌现出全局的秩序与智能。这正是在工程领域对“整体大于部分之和”以及复杂系统如何从底层规则中产生高阶秩序的绝佳诠释。运动无人机群自主聚类，是一种更高阶的拓扑同态。

无人机群能像鸟群一样自主穿越树林，然后自动重组队形。仿若从混沌场（高熵）走向结构化世界（低熵）时，创造并继承了有序性，成为新型“智慧体”。

转载本文请联系原作者获取授权，同时请注明本文来自陈正茂科学网博客。
链接地址：https://blog.sciencenet.cn/blog-1666470-1520603.html

上一篇：关于不完备性定理和不确定性原理的探讨（十七）（2）
下一篇：深度学习多隐层架构数理逻辑浅析（十七）（4）