TextonBoost for image understanding: Multi-class object recognition and segmentation by jointly modeling texture, layout, and context
Shotton, Jamie (Machine Intelligence Laboratory, University of Cambridge, Trumpington Street, Cambridge CB2 1PZ, United Kingdom); Winn, John; Rother, Carsten; Criminisi, Antonio Source: International Journal of Computer Vision, v 81, n 1, p 2-23, January 2009
Database: Compendex
Abstract  -  Detailed  -  Cited by in Scopus (68)

 

我对该文的概括：提出了一种结合利用texture-layout特征和低级图像特征的CRF模型。

Graph Cut based Inference with co-occurrence一文对该文的评价：Current state of the art low-level approaches typically follow the methodology proposed in Texton-boost, in which weakly predictive features such as colour, location,and texton response are used to learn a classifier which provides costs for a single pixel taking a particular label. These costs are combined in a contrast sensitive Conditional Random Field CRF.

主要创新点：1、提出了一种新特征texture-layout 特征；2、提出了结合利用该特征和其他几种低级特征的CRF模型； 3、采用boosting方法和分段训练的方法以提高模型训练的效率

文章将证明整个模型中第一项的影响最大。前三项是单位置势函数，第四项是双位置势函数，最后一项是归一化因子。

1.1、色彩项

利用CIELab色彩空间，用混合高斯模型建模（GMMs）。，参数通过训练学习到。

1.2、location项

采用look-up table方式获得location信息，，其中是归一化后的像素位置，实验结果：

即在自然图像中草地、道路一般在下部出现，树和天空在上部，人脸在中间

1.3、edge项

这是一个双位置势函数，具有对比度敏感的Potts模型的形式。，其中

这是影响最大的一项。

2.1 Texton纹理基元的计算

2.2 Texture-layout的定义

，其中i代表图像位置，r是一个区域（用相对于i的坐标集表示），t为Texton的类别标签。该公式表征的是：i处的(r,t)texture-layout特征是指r内texton为t的像素所占的比例。

简单起见，r一般选用矩形，要求占图像大小的一半，且应该在图像内部。示意图如下：

2.3 Texture-layout的计算

a、将texton按类别分为k个通道，如上右所示。

b、建立累积直方图（见Viola and Hones 2001）

c、以常数时间计算出Texture-layout特征：

     ，其中，br,bl,tr,tl，分别表示右下，左下，右上，左上

2.4 saparable Texture-layout

    为使计算更快。采用span方式。