春暖花开，最近实验室项目不算忙，终于有时间读读paper了，无比幸福。为了通过实在的产出使自己获得成就感，也方便感兴趣的朋友讨论，准备把最近看东西的成果写成文字跟大家分享。由于最近在看神经网络自组织临界方面的东西，本来想写篇科普性综述，结果发现这块骨头太难啃，就先介绍两篇最近读的很有趣的paper吧。

[1] Saremi, S.; Sejnowski, T. J.; A hierarchical model of natural images and the origin of scale invariance, Proceedings of the National Academies of Sciences USA, 110, 3071–3076, 2013 (PDF)

[2] Stephens GJ, Mora T, Tkačik G, Bialek W. Statistical thermodynamics of natural images. Phys Rev Lett 110 (2013): 018701. [ arxiv ] [ site ] [ pdf ]

这两篇文章有个共同的特点：简单的想法，短小的文章，漂亮的结果。

由于这两篇文章都涉及到相变和临界，先简单介绍这些物理概念。在统计物理里展示相变的最经典模型莫过于二维Ising模型了。把一块磁铁抽象为由排在二维晶格上的一堆结点组成，每个结点代表一个自旋子，取+1或-1两个值代表两种相反的极性。相邻结点间存在特定强度的相互作用，使它们保持相同的极性（取相同+1或-1值）。

这块磁铁是否表现出磁性取决于两股势力的斗争，使自由能F = E - T*S趋向最小。在很低温度下，能量E占据上风，最小能量要求相邻的结点取值相同，导致所有结点取值相同，磁铁宏观上表现出磁性。系统处于有序（frozen）状态。在很高温度时，熵S占据上风，最大熵要求结点的取值完全混乱，磁铁失去磁性。系统处于无序（混沌）状态。不难想象，如果我们从绝对零度开始逐渐给磁铁加温，在某个临界温度Tc，两股力量会不相上下达到平衡，系统处于临界态（混沌的边缘）。这时系统在宏观上会表现出一种奇特性质。如果把+1状态想象成陆地，把-1状态想象成水域，在临界状态，你会看到这样一幅地图：小湖里有小岛，岛屿里有小湖，海洋里有岛屿，大陆里有海洋。。。整片大陆和海洋的范围都会扩展到整张地图。临界态的典型特征是涨落（例如大海里的岛屿）会扩散到无穷大的范围，即不存在这样一个特征尺度，使大于该尺度的涨落出现的概率小到可以忽略不计，这就是人们常说的scale free，也叫尺度无关。可以这样理解，这张无限大的地图，无论你从多远的距离看，看到的景象是类似的（下图）。