8月，IJAC第4期发表中科院自动化所精密感知与控制中心张正涛、徐德教授团队的研究论文：An Effective On-line Surface Particles Inspection Instrument for Large Aperture Optical Element。文章设计出一种新型紧凑仪器（compact instrument）用于快速检测LAOE表面的微粒污染，该仪器方便携带，可在线检测。文章第二部分展示了整个系统的工作过程，第三部分主要介绍自动对焦及图像校正方法（auto-focus and image rectification methods），第四部分描述自适应二值化方法（adaptive binarization method），第五部分得出实验结果，最后给出研究结论。

图片来自SpringerLink

当前，对于光学元件表面微粒的检测，最基本的方法是肉眼观察，这全凭工人的经验来判断微粒数量和大小，最后的结果往往受很多主观因素影响。现在，还有一些专业的检测仪器，如：激光剪切散斑干涉技术（shearography）---检测薄片（wafer）上的细小缺陷；投射测定法（transmission measurement）---使用THz光谱仪（THz spectrometer）追踪THz脉冲延迟（THz pulse delay），并得出元件表面状况的量化数据；C-CT，即原子力显微镜（atomic force microscopy），也称扫描电子显微镜（scanning electron microscopy）---检测光学元件表面的微粒污染。虽然通过这些仪器测出的结果精度高，但不适用于在线检测几百微米（hundred micrometers）级大小的微粒。

现阶段，研究者们设计出了两种可满足美国国家点火装置（NIF）损伤检测要求（the damage detection requirements）的系统：激光光学元件损伤检测系统（laser optics damage inspection system, LODI）用于检测传输光学元件（transport optics）及靶室真空窗（target chamber vacuum window）的损伤情况；终端光学元件损伤检测系统（final optics damage inspection system，FODI）用于检测终端光学元件（final optics）的损伤情况。两系统均采用暗场成象技术（dark-field imaging technology）来增加损伤图像（defect image）间的对比度。FODI系统可检测大小超过50微米的裂缝（flaws），置信度达99%，检测192束光大约需要2小时。但上述系统操作复杂，造价高昂，不易携带，应用于实际时困难重重。

本文设计出一款用于检测大口径光学仪器表面微粒的设备。基于暗场成象系统，可在远工作距离的条件下，得到LAOEs表面的高清图像。通过步进电机（stepper motor）调整镜头的放大倍率（lens magnification），而后自动对焦。设备易于安装，方便携带，可在线检测。摄像机内部参数和镜头畸变参数离线校正。当前图像和理想图像间的单应矩阵在线校正。当前的变形图像可通过单应矩阵（homography matrix）和图像校正算法（image rectification algorithm）进行校正。借助自适应阈值算法（adaptive thresholding method）和SSE2算法可得到带背景且抽取了微粒（extract particles）的二值图像。通过分别计算子区域的微粒数，可得到微粒分布情况。实验结果表明：该紧凑型设备可满足大口径光学元件的检测要求，过程高效，结果准确。

图片来自文章

系统工作过程分为四步，如下图所示：

1）初始化（Initialization）：检查硬件连接（hardware connection），重置电机（motors）至初始状态（initial positions），手动选择放大倍率（magnification factor）。

2）自动对焦及图像捕捉（Auto-focus and image capture）：选择感兴趣区域（a region of interest）自动对焦，对焦后捕捉图像

3）计算及图像校正（Calculation and image rectification）：对摄像机的内部参数（intrinsic parameters）和镜头的畸变参数（lens distortion parameters）离线校正。计算理想影像（ideal image）与当前影像（current image）之间的单应矩阵，基于单应矩阵（homography matrix），校正变形图像。

4）微粒提取及统计（Particle extraction and statistics）：为二值化（binarization）生成自适应阈值（adaptive threshold），通过自适应二值化（adaptive binarization）和轮廓抽取算法（contour extraction algorithms）抽取微粒。最后，根据从LAOE表面抽取的微粒绘制微粒分布图。

系统由两个子系统构成：一个是照明系统（illumination system），提前安装在洁净度100级的盒子（class 100 cleanliness box）里；另一个是视觉系统，安装在盒子外部，可移动。盒子外部环境要求洁净度1000级。两个子系统分别在不同的环境里工作。

图片来自文章

如上图所示，光源（light sources）固定在LAOE两侧，并略高于光学元件表面，以此保证入射光束（incident light beams）呈小角掠射（small angle of grazing incidence），光学元件（optical element）表面与摄像机的距离约为500毫米，这对于精确测量（precision measurement）而言是个很长的距离。

视觉系统由一个放大倍率可变的镜头（lens with changeable magnification factor）和高清电荷耦合元件（high definition charge coupled device）构成。视觉系统安装在取景器（viewing window）上，其光轴（optical axis）与光学元件（optics surface）表面垂直。为实现自动变焦和自动对焦，系统还使用了两个步进电机（stepper motors），加入了一些机械结构（mechanical structures）的设计。步进电机与变焦环（zoom ring）啮合，转向电机（steering motor）与尼康镜头的聚焦环（focus ring）啮合。通过这种方式，可以以不同分辨率（resolutions）自动检测不同区域。

图片来自文章

图片来自文章

为解决步进电机的步损（step loss）和打滑（slipping phenomenon）问题，我们利用刀片（blade）和光电开关（optoelectronic switch）生成反馈信号（feedback signal）。当挡片（separation blade）受阻时，会向光电开关发出停止信号，阻止变焦电机（zoom motor）继续运行。因此，刀片位置可改变视觉系统的放大倍率（magnification factor），我们使用三个刀片实现了三个不同的放大倍率。

图片来自文章

中间区域（middle region）与没有背景（without background）的边缘区域（margin region）的聚焦存在很大差异，这意味着摄像机会聚焦在光学元件表面没有背景的区域，而对于有背景的区域，则会聚焦在背景上。因此，本文主要捕捉无背景（non-background）子区域的图像，并计算聚焦评价函数值（focusing evaluation function value）。

图片来自文章

上图中，FEF出现两个峰值，整个聚焦区域（focusing region）的FEF值都不是单峰的。极值可能对应的是错误的聚焦位置（wrong focus position）。

图片来自文章

如上图所示，无背景区域所计算出的FEF值是单峰的，这种情况下，摄像机聚焦在了正确的位置。

由于不均匀照明系统（non-uniformly illuminated system）照度高（high illumination），再加上密封室（airtight chamber）内部金属盒（metal box ）的反射，捕捉的图像并非高对比度（high contrast）的暗场成象图。本部分所述内容旨在从受背景干扰的不均匀照明图像中抽取微粒。

当前，世界上的二值化算法（binarization method）尚无法得到满意的二值图像（bilevel image），如Ostu算法和LASS算法。本文所提出的方法用梯度加权平均值（gradient weight average）取代平均数（average value）和方差（variance）。这一方法不仅可实现Ostu算法和LASS算法所能实现的功能，而且对亮度变化（lightness variation）反应更为敏感，在亮度变化缓慢时，对像素的要求也相对较低。

图片来自文章

上图展示了微粒如何分布在光学元件表面

不同情况下微粒的数量

与Otsu算法和LASS算法相比，本文所提出的算法在LAOEs图像二值化上（LAOEs image binarization）性能更优，其所得到的微粒数更准确。此外，SSE2优化法（SSE2 optimization）非常高效，可将二值化的运行时间由17890ms降低至8695ms。

An Effective On-line Surface Particles Inspection Instrument for Large Aperture Optical Element

Wen-Dong Ding, Zheng-Tao Zhang, Da-Peng Zhang, De Xu, Hai-Bing Lv, Xin-Xiang Miao, Guo-Rui Zhou, Hao Liu

Abstract：

Surface particles growing in large aperture optical element (LAOE) have significant impact on LAOE’s stable operation. It is a challenge for the online system to inspect the particles with long working distance, enough precision and high efficiency because of the system constraints. In this paper, an effective and portable inspection instrument is designed based on dark-field imaging principle. A Nikon lens and an industrial high definition (HD) camera are selected to construct the vision system to inspect particles of microns size spreading over hundreds of micrometers. Using two motors and other mechanical structure, the system can realize auto-focus and image rectification functions. The line light sources are installed on both sides of the LAOE in a sealed box while the vision system is portable and working outside the box. An adaptive binarization method is proposed to process the captured dark-field image. The distribution of particles on the LAOE’s surface is investigated. Because of the high resolution of the captured image, the SSE2 instructions optimization method is used to reduce the time cost of the algorithm. Experiments show that the instrument can inspect LAOE effectively and accurately.

Keywords:

Dark-field imaging, image rectification, adaptive binarization, particle inspection, large aperture optical elements (LAOE) .

Full text：

1) SpringerLink:

https://link.springer.com/article/10.1007/s11633-017-1079-6

2) IJAC Website:

http://www.ijac.net/EN/abstract/abstract1889.shtml

【IJAC专题】计算机视觉 | 让机器“看”懂世界

10月重磅 | IJAC特约专题：类人计算

【IJAC专题】AI & 图像处理

【IJAC专题】机器人相关论文荐读

更多精彩内容，欢迎关注

1) IJAC官方网站：

http://link.springer.com/journal/11633

http://www.ijac.net

2) Linkedin: Int. J. of Automation and Computing

3) 新浪微博: IJAC-国际自动化与计算杂志

4) Twitter: IJAC_Journal

5) Facebook: ijac journal

关于杂志或文章，您有任何意见或建议，欢迎后台留言或私信小编

本文编辑：欧梨成

点击“阅读原文"，进入全文下载