引子

一份研究报告的读着提出了一个更深的问题：“RMSE和最大偏差都能说明系统在改善，但它们一个看中心，一个看边界。如果我要知道系统‘整体上变好了多少’，该用哪个？如果我要知道系统‘在最坏情况下安全了多少’，该用哪个？有没有一个指标，能同时告诉我中心改善了、边界也改善了，而且还能知道改善是来自什么类型的变化？”

这个问题触及了评价系统的核心。不是“哪个指标更好”，而是“我需要知道什么，哪个指标能告诉我这个”。不同的改善类型，需要不同的指标来识别。如果只用RMSE，你只能看到中心收敛，看不到边界变化；如果只用最大偏差，你只能看到边界压缩，看不到中心变化。而真实系统的改善，往往同时发生，中心在收拢，边界在收缩，分布形态在改变。

构造学论要追问的是：存在一个指标能够同时反映中心改善和边界改善吗？如果不能，如何构建一组指标来读取系统的完整状态？在构造学论上，评价一个系统的改善，需要从哪些维度同时测量？

一、单一指标的局限

RMSE和最大偏差各自提供了单一维度的信息。

RMSE告诉你系统的输出在大多数情况下偏离目标有多远。它是一个平均意义上的误差度量，对分布中心敏感，对分布形态的整体变化也敏感。但它不告诉你最大偏差是多少，也不告诉你偏差的分布形状，它只是一个综合数值，无法分解出“是中心收窄了还是尾部变长了”。

最大偏差告诉你系统在最极端情况下的偏离距离。它是边界指标，对分布中最远的位置敏感。但它不告诉你其他点在哪里，一个极端值的压缩和整条分布的中心移动无法区分。它只是一个最大值，不提供分布形态的任何信息。

两者合在一起，提供了两组有用的信息。但如果要全面评估系统的改善，需要覆盖四个维度，而这两个指标只能覆盖其中两个。

二、需要覆盖的四个维度

一个完整评价系统，应该覆盖四个维度：准确性、可靠性、分辨力、稳健性。

准确性衡量系统输出与真实值之间的平均偏差。它回答“系统通常偏离目标多少”的问题，RMSE是其中一个度量。可靠性衡量系统对自己判断的把握程度，系统在给出一个预测时，它有多大的置信度，而这个置信度与实际误差之间有多大的差距。一个可靠的系统，在它说“我确定”的时候，确实比它说“我不确定”的时候更接近目标。分辨力衡量系统在不同输入条件下能否产生有差异的输出，而不是压缩在一个狭窄范围内。如果一个系统在大多数输入条件下输出都接近相同值，即使它准确，它的区分能力也有限。稳健性衡量系统在极端输入条件下的输出是否仍然保持在可接受范围内，系统能否在输入偏离常规时仍然保持可用的输出。

RMSE覆盖了准确性，最大偏差覆盖了稳健性的极端情况。但可靠性和分辨力没有被任何常用的点估计指标覆盖。

三、补充指标的构造位置

为了读取完整的系统改善，可以在RMSE和最大偏差之外，增加以下指标：

指标一：连续概率分级评分（CRPS）。 CRPS同时评估概率预测的准确性、可靠性和分辨力，适用于需要估计预测不确定性的系统。它的计算方式与均方误差有相似之处，但它不是在点估计上比较，而是在概率分布与观测值之间进行评分。CRPS下降意味着系统的预测分布更接近观测分布，不仅预测均值更准，预测的置信区间也更可靠。

指标二：校准斜率。 校准斜率衡量预测置信度与实际准确率之间的关系。在误差预测中，它可以通过比较预测区间覆盖率和实际覆盖率来评估。如果预测区间覆盖率达到预期值，斜率接近1；如果系统过于自信或不够自信，斜率会偏离1。斜率接近1意味着系统的置信度判断与实际表现匹配，它的可靠性良好。

指标三：预测区间覆盖度和平均宽度。 预测区间覆盖度衡量预测区间包含真实值的比例，平均宽度衡量预测区间的大小。一个良好的系统应该在给定的覆盖度下保持尽可能窄的区间。区间过宽则不确定性强，过窄则可能不准确。改善时，覆盖度不变但宽度减小，或覆盖度提高而宽度不变，都是改善的信号。这样的变化表明系统在不损失可靠性的前提下增加了预测精度。

四、分布形态的读取

除了指标之外，读取误差分布的整体形态也很重要。误差分布的形状可以被读取，对称分布表示系统在所有方向上的偏差大致均匀，偏斜分布表示系统倾向于在某一方向上持续偏离。误差分布的分位数可以显示分布在不同位置的变化。一个系统的改善，可能在95百分位最明显，也可能在5百分位最明显。读取整个分布的分位点，比只读取一个最大值能提供更多关于系统改善位置的信息。

在构造学论上，误差分布是一个系统状态的可视化读图。读它的形状、读它的变化方向、读它的分位点，比读一个数字更接近系统的真实状态。分布形态变化说明系统的某些部分得到了调整，而不仅仅是整体误差的均匀减少。

五、改善的类型推断

用RMSE和最大偏差的变化模式，只能区分三种情况：中心改善而边界不变、边界改善而中心不变、两者同时改善。但通过增加CRPS和误差分布分位数等指标，可以进一步区分的改善类型包括：

• 中心收缩但方差不变：系统在多数区域表现更好，但极端误差仍然可能以同样的幅度出现。

• 中心收缩且边界收缩：系统在所有区域表现更好，同时极端误差也被压缩。

• 中心不变但边界收缩：系统的常规表现不变，但最坏情况的风险被降低了。

• 整体误差不变但可靠性提高：预测区间变窄但实际误差分布不变，系统的置信度更准确，即使预测误差没有变化，它在不确定性估计上的改进也提升了对预测本身的信任程度。

每一种模式对应着系统结构的不同变化。读懂这些模式，比单独知道RMSE下降了几个百分点更有用。

六、构造学论的立场：评价系统需要由多个指标构成

单一指标的问题在于它只能反映系统的一个侧面。一个系统可能在RMSE上持续改善，在最大偏差上却保持不变，而在校准斜率上可能已经偏离了1。只用RMSE评估，会忽略它在可靠性上的变化；只用最大偏差评估，会忽略它在准确性上的改善。

一个完整的评价系统应该覆盖多个维度：准确性用RMSE，边界稳健性用最大偏差，可靠性用CRPS和预测区间校准，分辨力用预测区间宽度或分布分位数。每个指标覆盖一个维度，合起来提供系统的完整图景。

可以构建一个评价矩阵，四个维度分别对应四类指标。如果系统在四个维度上都收敛，那么系统的改善是全面的；如果只在一个维度上改善，那么系统的变化是局部的。判断系统是否真正改善的依据不是单一指标的变化，而是多个指标的整体收敛情况。系统在尽量多的维度上收敛，才是全面改善的信号；只在某一维度收敛，可能只是该维度参数被调整了，其他维度可能保持不变甚至恶化。

结语：不是哪个最好，是需要知道什么

RMSE和最大偏差已经提供了两个坐标，给出了系统在多数情况和最坏情况下的表现。要获得更完整的系统状态，需要增加可靠性指标来读取置信度是否准确，需要误差分布分位数来读取系统的改善发生在分布的哪个位置。

没有单一的“更好指标”。只有更多维度、更完整的评价矩阵。当四个维度的指标都指向改善时，系统的改善才是全面且可信的。真正的答案不在一个数里，在多个数的组合里。

支持单位：