科学出版社分享 http://blog.sciencenet.cn/u/sciencepress 中国最大的综合性科技出版机构之一,科学家的出版社!

博文

智慧农业丨解放农民的双手,以后采摘番茄也有机器人帮忙啦!

已有 16411 次阅读 2018-4-3 16:41 |个人分类:科学书摘|系统分类:科研笔记| 智慧农业, 科学出版社, 刘继展, 李智国, 李萍萍

 

水果和蔬菜既是人类生活中必不可少的食物,也是重要的经济作物。据统计,2017 年全球的水果和蔬菜产量分别达6.8 亿t 和12.6 亿t,其中全球鲜食果蔬与加工果蔬的比例约为7:3。中国蔬菜、水果的种植面积和产量均稳居世界首位,但其加工果蔬的比例仅占5%左右。

 

在我国,近年来农业劳动力特别是青壮年劳动力也迅速向其他行业转移,农忙季节广大农村开始出现劳力荒,农村留守老人、妇女的劳动强度大大增加,生产效率明显降低。

 

果蔬生产的快速发展和农业劳动力短缺、劳动强度过大的矛盾日益显现,而替代选择性收获这一复杂人力劳动只有通过采摘机器人技术的深入研究才能实现。果蔬采摘机器人的研究开发,对于减轻农业从业者的劳动强度、解放农业劳动力和提高果蔬的集约化生产水平,都具有重要的意义。


timg.jpg


番茄,俗称西红柿,是中国人餐桌上的最爱,也是全球需求量最大的果菜,然其鲜果的非人力收获为最难实现的作业之一。


番茄采摘机器人


鲜食番茄及其机器人采摘


深受人们喜爱的鲜食蔬果番茄,其机器人采摘研究较早得到全球研究者的重视,多年来得到持续的开展,并产生了一系列的成果。

 

同时,番茄亦是机器人采摘难度最大的果蔬种类之一。目前面对鲜食需要,通常对普通番茄实施单果采摘,而对樱桃番茄实施成串采摘。对目前绝大多数普通番茄品种及栽培方式而言,与黄瓜、茄子、苹果等果蔬相比,番茄果实每穗达3~5 个,密集生长,相互触碰,且果实生长方位差异更为显著(图1),因而对实施机器人的智能化采摘提出了更大的挑战。


1.1.jpg

图1 番茄与黄瓜、茄子果实的生长姿态及分布差异


1、目标果实的识别


果实之间的靠拢与重叠遮挡更加严重,对采摘机器人的视觉系统而言,尽管对成熟番茄果实可以通过颜色差别而轻松辨别,但是由于多个果实图像连成一体而难以分割,甚至被完全遮挡,造成对目标果实识别和定位的困难。


2、采摘动作的实施


番茄成穗生长,相互触碰,造成采摘机器人对目标果实的夹持空间受限,夹持动作失败或把相邻果实碰伤;番茄果实的生长方位差异极大,每次采摘的姿态和作用力关系都有所变化;果梗较短且梗长不一,造成机械式刀头难以顺利实施果梗的切割,而扭断、折断果梗的力学作用规律变化很大,成功率受限,进一步加大采摘的难度。

 

因此末端执行器成为番茄机器人收获的研究关注点,其形式各异、功能相差极大。功能单一的剪断式末端执行器无法满足机器人采摘作业的要求,因而相继衍生出夹剪一体式和夹果断梗式两大类末端执行器。


日本的番茄采摘机器人


植株的种植模式对机器人采摘的性能影响很大,对传统的杯形种植,果实非常分散,机器人需要很大的工作空间,同时枝干的空间分布使采摘作业非常困难。而日本的鲜食番茄一般采用单架栽培模式,由支柱和绳索支撑, 在与地面垂直的方向栽培,数个果实成串悬挂生长,由于叶柄很短,果实识别大大简化,同时采摘作业性能得到保证。

 

日本早在20 世纪80 年代初就开始了番茄采摘机器人的研究,数十年来京都大学、冈山大学、岛根大学、神奈川工科大学、大阪府立大学等高校以及武丰町设施生产部等均推出了番茄采摘机器人样机,近藤直、门田充司等专家引领了番茄采摘机器人技术的研究热潮。

 

各样机多针对温室采用电动轮式底盘或轨式底盘,少数对露地栽培而采用履带式底盘。对通常栽培模式,由于冠层的复杂性和果实分布的随机性,其机械臂从早期的3 自由度发展到以6 和7 自由度关节式机械臂为主;而近藤直等针对使番茄果实倒垂生长,从而使采摘难度大大降低的单架式栽培模式,应用直角坐标机械臂实施采摘;Chiu 等则将商用关节式机械臂与剪叉式升降机结合,从而扩大竖直方向的工作空间。


1、番茄果实的逐个采摘


京都大学的川村登等较早进行番茄采摘机器人的开发(图2),采用速度分别为0.52m/s 和0.25m/s 的双速电动轮式底盘和5 自由度机械臂,利用固定于底盘的单相机的移动两位置检测来实现对果实的定位。该机器人从整机结构到目标检测技术方法仍较为简单,但已成为初期对机器人采摘技术的重要探索。


1.2.jpg

图2 京都大学的番茄采摘机器人(单位: mm)

 

神奈川工科大学的Yoshihiko Takahashi 等针对老年人或残疾人的需求,提出了人工操作直角坐标型番茄采摘机器人(图3),通过屏幕显示遥控操纵机器人作业。其末端执行器为剪刀式,直接剪断果梗,果实落地或落入事先放置的果箱,末端执行器本身无法实现果实的回收。该采摘机器人结构功能较简单,适用于植株冠层内枝叶较稀疏规则、空间较大、果实具有一定抗冲击能力的果蔬,但对于大多数果蔬,则无法满足机器人采摘的要求。复杂的冠层空间使果实下落过程中更容易被碰伤,且下落位置不可预知,影响果实的回收。


1.3.jpg

图3 神奈川工科大学的人工操作型番茄采摘机器人

 

国际农业机器人研究领域最为权威的学者、日本Naoshi Kondo 等开发的番茄采摘机器人(图4) 采用轮式底盘和7 自由度冗余机械臂,具有5 自由度垂直多关节和能够上下、前后移动的2 自由度直动关节,使机械臂的工作空间和姿态多样性能够有效满足番茄果实采摘的避障和到达要求;分别研发了两指和柔性四指末端执行器,均安装有真空吸持系统,并采用相似的动作原理,即首先由吸盘吸持拉动果实将目标果实从果穗中相邻果实之间隔离出来,再夹持果实,通过扭断或折断果梗的方式实现采摘。


1.4.jpg

图4 Naoshi Kondo 等开发的番茄采摘机器人

 

Naoshi Kondo 和Mitsuji Monta 等针对单架逆生番茄栽培模式提出不同的机器人结构(图5)。该模式中番茄的根部在上部的水培槽内,而果串下垂生长,枝叶修剪后机器人能够更容易发现和到达果串。由于水培槽可以移动,采摘机器人无须移动底盘。同时由于果串下垂生长,亦无须复杂的机械臂结构,因而采用直角坐标机械臂,并采用与单架番茄栽培模式相同的末端执行器。经试验验证末端执行器对果实的采摘效果,总成功率为78%,其中过成熟果实会造成夹持的滑脱而无法施加弯折,并由于果梗开始木质化而难以顺利折断;由于未成熟果实的离层发育不充分,折断率也受到影响。


1.5.jpg

图5 针对单架逆生栽培模式的番茄采摘机器人

 

爱知县知多郡武丰町设施生产部的Shigehiko Hayashi 等开发的番茄采摘机器人(图6),由双目视觉进行果实的识别与定位,采用了2900mm×1400mm 的履带式底盘和三菱5 自由度垂直多关节型机械臂,其末端执行器通过一真空吸盘吸持果实并向后拉动一定距离,直流电机驱动两指夹持住果实后末端执行器翻转一定角度,使盘形刀具切断果梗。该末端执行器完成一次采摘和放入果篮的周期为22s。末端执行器作业时,由压力开关检测真空负压,以确定成功吸持与否,真空吸盘吸持并拉动果实后移30mm。试验发现,当果梗过短时,吸盘吸持拉动过程中拉力可能会超过真空吸力,从而造成脱落。试验结果表明,单果的采摘周期为41s,其中成熟果实的识别耗时和正确识别率分别为7s 和92.5%,其中83.8%能采下,但其中约1/3 受到损伤。因此,总的成功采摘率仅为52.5%。


1.6.jpg

图6 武丰町设施生产部的番茄采摘机器人

 

九州工业大学Shinsuke Yasukawa 等开发了简易的轨道式番茄采摘机器人样机(图7),包括商用6 自由度串联式机械臂和末端执行器,并由KinectV2 体感摄像头的彩色与红外信息融合实现果实的识别。该样机尚需进行室内与田间的试验验证。


1.7.jpg

图7 九州工业大学的番茄采摘机器人


1.8.jpg

图8 东京大学的番茄采摘机器人

 

东京大学Hiroaki Yaguchi 等利用电动轮式全方位底盘、UR5 通用6 关节机械臂、Sony 的PS4 双目立体相机,并配备夹持扭转式2 自由度末端执行器组成的番茄采摘机器人(图8(a)),可实现自然光下温室浅通道内的采摘作业,经过优化使每果的识别采摘周期从85s 下降为23s,但作业中会出现夹持失败、花萼受损和夹持多果而采摘失败的现象。

 

该研究组还开发了仿人型双臂式番茄采摘机器人(图8(b)),该机器人装备了全方位底盘,并在头部和腕部分别安装Xtion 和Carmine 体感摄像头,每臂有7 个自由度,并安装夹剪一体式末端执行器。该机器人完成了室内悬挂番茄的采摘试验,目前仅能由人发送命令来完成采摘,证实了仿人作业的可行性,但识别定位和作业中均有待完善和改进。


2、樱桃番茄果实的逐个采摘


Naoshi Kondo 等开发的樱桃番茄采摘机器人,采用了电动4 轮底盘和与普通番茄单果采摘相同的7 自由度冗余度机械臂,但开发了针对樱桃番茄的吸入|切断|软管回收式末端执行器,通过真空将樱桃番茄吸入软管,并由电磁阀通过弹簧驱动钳子合拢夹断果梗,番茄经软管输送到果箱中(图9)。由于果实由采摘位置通过软管输送跌落入果箱,通常这类末端执行器只适用于樱桃番茄、草莓等小果实的采摘,且软管必须经过精心设计,以避免果实的损伤。安装于底盘的单相机,通过其水平与竖直移动获得两幅图像,从而实现目标果实定位。试验发现采摘成功率为70%,对于较短和较粗果梗的果实,吸入环节出现困难。同时,该机器人对单架栽培樱桃番茄具有较好的采摘效果,而对于有两个以上长梗的多架栽培,由于会出现果串定位错误,初期试验成功率仅23%。


1.9.jpg

图9 Naoshi Kondo 开发的樱桃番茄采摘机器人

 

大阪府立大学的Kanae Tanigaki 等认为,植株的种植模式对机器人采摘的性能影响很大,对传统的杯形种植,果实非常分散,机器人需要很大的工作空间,同时枝干的空间分布使采摘作业非常困难;为此提出了面向单枝栽培模式的樱桃番茄采摘机器人(图10),由于叶柄很短,果实识别大大简化。


1.10.jpg

图10 大阪府立大学的樱桃番茄采摘机器人

①计算机;②机械臂;③3D 视觉传感器;④末端执行器;⑤真空吸尘器;⑥果箱


3、番茄果实的成穗采摘


Naoshi Kondo 认为,采摘机器人技术未能得到商业化应用的原因之一,是其单果逐个采摘的作业效率低于人工作业。现有的番茄采摘机器人末端执行器均面向鲜食番茄的单果收获。Naoshi Kondo 针对越来越多成串采摘的需要,设计了由标准SCARA 机械臂配置成串采摘末端执行器的采摘系统(图11)。作业时,上下两指同时合拢,当两指接触到番茄穗所在主枝干后,限位开关发出信号,气缸驱动的上下两指并拢夹住并切断果穗,而后推板接触果穗,以防止果穗在运输过程中的抖动。试验表明末端执行器的采摘成功率仅为50%,原因是末端执行器难以稳定进入枝叶间夹住主穗轴、气压不足以产生足够夹持力和果实掉落。成穗采摘方式无法适应同一果穗上番茄成熟期的差异,其适用性依赖于番茄新品种和新栽培技术的进展以及特定的市场需求。


1.11.jpg

图11 Naoshi Kondo 等开发的番茄成串采摘机器人

 

岛根大学和大阪府立大学的藤浦建史等提出并开发了樱桃番茄采摘机器人(图12),也采用4 驱电动轮式底盘,配置4 自由度直角坐标机械臂,在末端执行器前部安装近红外立体视觉传感器,初期采用软管吸入折断和回收方式,后改为通过吸持{摆动剪断并由开口布袋回收入果箱。在大阪南区农家温室的试验表明,135 粒果实的收获成功率为85%,其中花萼未受损率为92%,完成22粒果实收获的总时间为252s。而在校内栽培设施内进行的试验中,129 粒果实的收获成功率为81%,其中花萼未受损率达到了98%。


1.12.jpg

图12 藤浦建史等开发的樱桃番茄成穗采摘机器人


其他国家和地区的番茄采摘机器人


美国俄亥俄州立大学Peter P. Ling 等开发的番茄采摘机器人,采用了液压底盘和商用的安川 6 自由度机械臂,开发了配置掌心相机的柔性四指末端执行器(图13),通过真空吸盘吸持将目标果实拉离果束,进而由四指包络和拉断果梗完成采摘。但未见进一步整机开发和试验的报道。


1.13.jpg

图13 俄亥俄州立大学的番茄采摘机器人

 

中国台湾宜兰大学Chiu 等开发的番茄采摘机器人(图14),将三菱5 自由度关节式机械臂和剪叉式升降移动底盘相结合,并加装了电磁铁驱动的四指欠驱动末端执行器,通过单CCD 相机的位置移动对目标果实进行识别和定位,样机的总体尺寸为1650mm×700mm×1350mm。试验结果采摘成功率为73.3%,采摘中未出现损伤,主要失败原因是吸盘不能对番茄果实完成吸持,以及果梗无法扭断。采摘的平均耗时达74.6s。


1.14.jpg

图14 中国台湾宜兰大学的番茄采摘机器人

 

中国大陆开展番茄采摘机器人研究的时间较晚,但目前科研力量的投入和成果数量已走在世界的前列。中国农业大学纪超、李伟等开发的机型(图15),以商用履带式平底盘为基础,开发了4 自由度关节型机械臂和夹剪一体式两指气动式末端执行器,并配置了固定于底盘的双目视觉系统。试验结果表明,每一果实采摘平均耗时为28s,采摘成功率为86%,其中阴影、亮斑、遮挡对识别效果造成影响,且在茂盛冠层间机械臂会剐蹭到茎叶并造成果实偏移,同时可能会出现末端执行器无法实施夹持、较粗果梗无法剪断或拉拽过程中果实掉落。


1.15.jpg

图15 中国农业大学的番茄采摘机器人

 

国家农业智能装备工程技术研究中心冯青春、河北工业大学王晓楠等针对吊线栽培番茄开发的采摘机器人(图16),采用轨道式移动升降平台,配置4自由度关节式机械臂,并设计了吸持拉入套筒、气囊夹紧进而旋拧分离的末端执行器结构,对单果番茄的一次采摘作业耗时约24s,并配置了线激光视觉系统,分别由CCD 相机和激光竖直扫描实现果实的识别和定位。试验结果表明,在强光和弱光下的成功率分别达83.9%和79.4%。


1.16.jpg

图16 国家农业智能装备工程技术研究中心的番茄采摘机器人

 

上海交通大学赵源深等为提高作业效率,开发了双臂式番茄采摘机器人(图17),利用温室内的加热管作为底盘行进轨道,安装了2 只3 自由度PRR 式机械臂,并分别开发了带传动滚刀式末端执行器和吸盘筒式末端执行器,利用双目立体视觉系统实现果实的识别与定位。


1.17.jpg

图17 上海交通大学的番茄采摘机器人

 

此外,江苏大学、浙江大学、东北农业大学、中国计量学院等单位也在番茄果实的识别定位、机械臂设计和分析甚至与识别系统配套的夜间照明系统设计等方面开展了诸多研究。



本文摘编自刘继展,李智国,李萍萍著《番茄采摘机器人快速无损作业研究》第1章,内容略有删减改动。




《番茄采摘机器人快速无损作业研究》

作者:刘继展,李智国,李萍萍

责任编辑:惠雪,曾佳佳

北京:科学出版社,2018.2

ISBN:978-7-03-056435-1


在我国农业快速步入全面机械化的背景下,果蔬生产作业的机械化仍存在大量空白,而鲜食果蔬的采收更占用高达 40%的劳动力,采摘机器人技术研究具有重要的科学价值和现实意义。《番茄采摘机器人快速无损作业研究》阐述全球采摘机器人研究的进展与进程,并针对困扰机器人采摘作业中果实损伤与作业效率的关键矛盾,提出机器人快速采摘中的夹持碰撞与快速无损收获问题,进而通过力学特性与互作规律、建模仿真、设计方法、样机开发、控制优化的有机结合,系统开展番茄果实宏微本构特征、无损采摘机器人系统开发、黏弹对象的夹持碰撞规律、快速柔顺夹持建模仿真、真空吸持拉动的植株-果实响应、植物体激光切割、快速无损采摘控制优化等研究,有力地推动机器人采摘技术的进步。


(本期责编:小文)



一起阅读科学!

科学出版社│微信ID:sciencepress-cspm

专业品质  学术价值

原创好读  科学品味

点击文中书名、作者、封面可购买本书。



https://blog.sciencenet.cn/blog-528739-1107202.html

上一篇:全球环境健康面临哪些挑战?|《国家科学评论》
下一篇:科学出版社3月新书快递
收藏 IP: 124.17.26.*| 热度|

3 王庆浩 赵凤光 王启云

该博文允许注册用户评论 请点击登录 评论 (0 个评论)

数据加载中...
扫一扫,分享此博文

Archiver|手机版|科学网 ( 京ICP备07017567号-12 )

GMT+8, 2024-4-26 10:19

Powered by ScienceNet.cn

Copyright © 2007- 中国科学报社

返回顶部