好久没写博文了,新学期里, 计划有空就多写写, 好记性不如烂笔头, 看懂一篇paper, 和能把这篇paper 写出来是两码事. 看的时候总是从宏观层面来理解, 而文中中的一些细节会忽略掉. 而写出来, 为了保证准确无误,及时对于一个公式, 往往都要查阅很多资料. PCA, SVM, SVD, LDA 等等都是机器学习中随处可见的概念, 相信只要对机器学习一点点了解的同学, 对它们都不陌生, 如果要你不查阅任何资料, 写一份tutorial, 估计好多人都傻了眼.所以决定以后勤写读书笔记, 勤写survey.

 

昨天看了两篇关于building modeling from LIDAR 的paper, 一篇是法国INRIA的Florent Lafarge的2011ICCV文章, 另一篇是sarnoff公司08年CVPR文章, after initial classification, 接下来核心的一步是labeling, 两篇文章都用到了MRF, 他们的不同在于pairwise energy term, 前者定义了breakline, 位于breakline两侧的points如果有不同的labels, penalty会小;反之会大. 后者的employ了potts model. 在去年自己投的一篇CVPR文章中, 同样是用了MRF优化 initial labels.不像Florent侧重pairwise energy, 我把重点放在了data energy上面. 还有, 前2篇文章的高明之处是, 一个object 就是一个点, 而我则是在grid depth image上面操作的. 之所以用MRF, 是为了embed prior knowledge into unorganized points. MRF是一种很好的加入先验知识的模型, 有严格的数学基础. 印象很深刻的是sarnoff公司的那篇paper,他们用了EM来拟合平面, 其间计算出每个点属于平面的概率. NOTE: 做3D building modeling, 法国的inria 在全球可谓遥遥领先, 做相关研究的学者多多关注他们.

 

对于机器学习, 特别是data mining, 关注怎样从 Unstructured data中提取information.对于自动的信息提取, 人们往往限定一些constraints,提取出符合constraints的信息, 其实这些constraints就是prior knowledge. 如果能用数学模型对prior knowledge描述, 至少增添了方法的理论基础. 其实MRF便是有数学模型的prior knowledge. 90年代末期出现的boosting,给模式分类带来了新的生机, 不过boosting是基于在training data 完全可信的前提下的,并且 typical boosting是没有考虑sample之间的关联的, 如是schapire在99年提出了incorporate prior knowledge into boosting, 提高了 newsgroups, AP-titles等bench-mark datasets的分类精度. 现在有两点值得研究: 1) 如果training data中有少量noise怎么办? 虽然training data 一般情况下是manual sampling的结果; 2) 是否可以考虑基于prior knowledge的boosting对 LIDAR data 分类?

 

下面说说看书与动手的关系. 看懂了, 有很大的可能你实现不了这个算法; 而从实现算法的过程中,你既理解了一些概念,也许还能发现一些新的问题. 以后做一个课题, 如果有很多中方法, 你又没有自己的idea, 还不如实现几种经典的方法. 总之, 勤于动手! 接下来的几天, 要把Kullback-leibler divergence between two matrix, Levenberg-marquardr 搞懂.

 

总之, 要多记录, 彷徨时多动手.

 

参考文献:

[1] florent. Building large urban environments from unstructured point data, 2011, ICCV

[2] BC Matei, HS Sawhney. Building segmentation for densely built urban regions using aerial lidar data, 2008, CVPR

[3] John Secord and Avideh Zakhor. Tree Detection in Urban Regions Using Aerial LiDAR and Image Data, berkeley

[4] Robert E. Schapire. The Boosting Approach to Machine Learning: an overview. 2003, AT&T lab

[5] Robert E. Schapire.incorporate prior knowledge into boosting, 2002.