资料来源：绿洲资本，2024-02-28 18:20

刘畅流教授研究机器人服务人类，关注安全和智能。

绿洲：我们从您的研究领域聊起吧，您目前的研究方向和对未来的一个预期是怎样的呢？

刘教授：从我的 PhD 开始，我的研究聚焦于让机器人更好地为人类服务，特别是在制造业领域，涉及到两个关键模式：

一是替代危险任务。主要目标是提高工作环境的安全性，保护工人免受危险和有害健康任务的影响。譬如机器人在焊缝打磨等有害健康的任务中代替工人，减少了工人接触有害颗粒的风险。

二是协助工人进行任务管理。在需要人参与但不会对健康造成危害的任务中，通过机器人协助工人，改善任务管理和工作流程。譬如引入机器人辅助工人进行装配任务，管理工具，提高工作效率。

这些研究方向不仅有助于提高制造业的生产效率，还关注了工人的健康和安全，从而提高整体工作质量和生产效率以及可持续性上，我相信对未来工业的发展有着积极的影响。

我们还在研究如何在同一个空间中实现高效的人机协作，使工厂的占地面积更小、更紧凑。这包括机器人与人在同一空间内共同工作，分享工作空间，以减少工厂的规模。

至于机器人领域的未来发展，底层控制的深入探索已经进行了多年，也取得了显著的成果。这波AI革命提供了一个契机，使我们能够更深入地探讨机器人顶层智能，将更多维度、更多模态的数据融合起来理解，再反馈到现实世界。

为了实现这个目标，我们进行了多方面的探索。其中一个探索是设计新型传感器。目前的传感器主要基于图像和声音，但在触觉等领域的传感器设计相对较为有限，特别是在人机协作和交互中可能起到关键作用的，类似皮肤的大范围触觉传感器。如果有了这部分信息，机器人无疑将更加智能化。

另一个探索重点是系统的可靠性。随着大型模型的广泛应用，人们也认识到模型的输出会产生幻觉。对安全可信问题的关注与日俱增，最近美国也发布了一份关于人工智能战略的白皮书，其中强调了“可信度”（Trustworthiness）的重要性。对于已经超越我们认知水平的模型，如何为其提供安全性保证成为了值得探索且极具挑战性的问题，也是我们致力研究的方向。

绿洲：您和同僚或者学生合作研究的方式是怎样的？

刘教授：机器人领域以应用驱动为特点，难以专攻一个方向，解决应用问题通常需要多种技术手段的综合。整个行业的迭代速度的确非常快，我们致力于多方向研究，包括末端执行器设计、底层控制、运动规划、技能学习等等，以使得机器人能够更高、更快、更强。

我们也会把一些最新的 AI 成果应用到机器人中。

虽然 AI 领域发展迅速，但对下游物理世界（比如机器人的任务执行）的影响速度相对较慢。在数字世界中发生的变化需要解决一个关键问题，即如何将数字世界的探索转化为实际应用。将虚拟探索转变为实际应用是机器人领域值得关注的方向，有点类似自动驾驶领域，尽管仿真方面取得了显著成果，但实际应用的周期相对较长。

绿洲：您在毕业时曾经在选择学术界和工业界有过一段时间的考量，其中的思考是什么呢？

刘教授：这确实是个好问题。我毕业的时候学术界更适合智能机器人的研究，我们做的人机交互等等还没有一个明晰的落地场景。可以这样理解，6 年前并没有现在这样的关于智能机器人的土壤。当年自动驾驶是备受瞩目的焦点，虽然广义上说自动驾驶汽车也是一种智能机器人，但它的核心在于移动性，类似于人的足。而这一波智能机器人的发展更加关注于操作性（Manipulation），类似于人的手。从我的角度来看，关注操作性的智能机器人行业整体上升是近两年的事。

绿洲：近两年智能机器人才得到大幅提升。但10年前已经出了譬如UR5，Google的 Firefly，那也是一个重要的时间节点。这十年中，发生了什么呢?

刘教授：准确地来说，近两年来，机器人学习（Robot Learning）为智能控制领域注入了新的活力，为其注入了新鲜的血液，使得机器人能够以更低的时间成本、计算成本习得更多的技能。同时，机器人硬件成本的降低，使得拥有高精度机器人不再困难，因此有更多的学术资源参与到了机器人研究中。

虽然十年前机器人领域取得了一些重要突破，但机器人的硬件成本并未显著下降。然而，近两年来，尤其是在国内，机器人领域的成本出现了明显的下降。特别是长三角区域的氛围让我深有感触。国内许多零部件的成本显著下降，同时性能也得到了显著提升，为产业的快速发展提供了有力的支持。

绿洲：我们之前去 CMU 参观，看到匹兹堡也建了一个厂，刻意地把学术界和工业界连接起来了，是这样么？

刘教授：这是一个非常好的观察。Robot Institution 是CMU的一个Department，这个 Department 下面有一个 National Robotics Engineering Center（NREC），里面的成员都是工程师，而不是学生或者老师，他们会承接很多工业界相关的项目。

我们有个很好的机制，偏向研究性质的项目交由学校团队负责，而偏向工程实践的项目则由专业工程师主导。这样的策略性合作模式在机器人领域大显身手。因为绝大多数机器人项目，特别是那些需要在实际场景中展现效果的，都离不开工程师的技术支持。相反，要实现卓越的科研成果，也少不了科研团队的突破性贡献。

通过这种合作方式，对推动整个机器人产业的进步无疑是大有裨益的。 

绿洲：从这个角度看，你们在学校是否已经在实验室和工程师的合作下实现了闭环？

刘教授：这要看是从哪个层面来说。在效果层面，我们确实已经实现了一定的闭环。但要达到商业推广层面，目前进展还不够迅速。

绿洲：机器人领域学术研究和商业落地的距离在哪里呢？

刘教授：应该说是实验室环境。以前大家都说“Sim to Real”，现在是“Sim to Lab to Real”。实验室环境是我们自行设定的，旨在人为地简化一些干扰因素。例如，为了使感知更容易，我们可能使用绿幕。在真实世界中实现更强大的鲁棒性则相当困难，因为存在许多不可控因素。除非我们制定一份手册，要求工程师只在非常严格的环境下工作，但这样做可能使用户体验变差，如果机器人的功能受到如此多的限制，那我购买这个机器人的目的是什么呢？

另外，科研论文的写作侧重于特定的研究主题。你只需要在专门的细分研究领域取得一些贡献即可，而不需要考虑整个系统的协调。但在实际应用中，整个系统需要良好的配合。

有很多会议专门组织 Workshop 探讨这个问题，最近我就参加了一个名为“It works really well？”的 IROS Workshop。所谓“works really well”是指你的论文中的某个点有了显著提升？或者是说你的展示的场景更多了？还是说你进行了更多的鲁棒性测试？这些都是需要思考的问题。

绿洲：从科研角度来说，工业界在机器人领域会出现像大语言模型一样的爆发式发展么？

刘教授：我觉得这确实是个挑战。这要取决于机器人应用于哪个行业。对于不同的工业领域，机器人的需求和技术手段都会有所不同。以制造业为例，主要关注的是可靠性，因此我们在一定程度上会让效率让位于安全性。然而，在一些野外应用的机器人中，其使用过程中可能不会对人类生命构成威胁，因此安全性需求可能相对较低，但对效率的要求可能会提高。

我认为在工业界，会找到一些具体而实用的应用，采用更加工程化的解决方案。然而，要取得根本性突破，我觉得学术界可能才是关键。工业界暂时难以找到一个通用的类似大语言模型的数据设定，去实现大力出奇迹。

绿洲：感觉传统互联网公司 AI Lab 的论文比较多，声量比传统做工业机器人的更大？

刘教授：自动驾驶那波也是类似，传统车企基本上也没什么太大的声音，是互联网新贵初创公司声音比较大，也比较雄心勃勃。但时间久了，问题必然会浮现出来，比如 Argo AI 的倒闭。而一些传统车企则在默默加入更多自动化驾驶的功能。

绿洲：机器人的可靠性发展是不是与大语言模型关系不大？甚至有背离？

刘教授：从逻辑上讲，大型语言模型（LLM）实际上解决了一个共性问题，即进一步加深工业自动化。回顾工业自动化的历史，一开始是关于动力的自动化，用电力替代了传统的手工操作。随后，自动化扩展到了物料运输，引入了移动设备，包括运输带和机械臂等等。

然而，还有很多领域还没有实现自动化。比如说人类的知识，机器人还是需要人工在线进行督查、调试，这种知识难以以数字化的方式进行编码实现自动调试。而大型语言模型则不同，它包含了许多人们的常识。所以我们认为它具有取代人工检查员、作为系统“babysitter”的潜力。即使它只能解决一部分问题，也已经足以显著降低人力成本。

绿洲：在某些工业领域，确保准确性需要高质量的数据。然而，由于物理传感器的不稳定性，数据质量可能受到影响，使得 AI 在这些工业场景中难以发挥作用，您觉得是不是存在这个问题呢？

刘教授：我不知道这个问题的背景。不过只要这个问题的范围是比较窄的，你还是可以找到足够好的传感器以获得足够好的数据，最终只是个价格的问题。比如，我之前购买过价格比机器人还高的相机，它的精度非常高，我们用这个设备来进行亚毫米级的装配，数据的收集易如反掌。

但是如果你试图解决更广泛的数据收集和人工智能问题，那确实会面临很大的挑战。

绿洲：亚毫米级的装配人类怎么完成呢？

刘教授：人是通过触觉感知设备是否装配完成。机器人我们也想用触觉，无奈当时触觉的精度不够，只能改用视觉。不过数据质量问题确实也是一个大家更为关注的问题。CMU 之前申请过 Advanced Robotics for Manufacturing Institute，现在这个机构已经独立于 CMU了，就位于在 CMU 附近。这个机构目前在做的National AI Data Foundry 项目，要做多个机器人的生产区间，模拟小型产线，装很多传感器，把数据全都记录下来，数据至少对机构的成员全面开放。

绿洲：听上去有点像 ImageNet 当年做的事情，这个数据应该很有价值，收集成本很高。

刘教授：四大家族也可能在做类似的项目。我记得 16 年发那科做了一个系统叫 Field System，就是把工厂里的机器人的运行数据传到云端。如果过去七年来一直持续在做的话，应该已经搜集了大量的数据了。

绿洲：从研究探索角度来说，机器人发展的难点在哪里？具体有那些流派？

刘教授：确保安全、可靠性和可信赖性是主要难点。确保安全、可信赖性有两种主要途径：一种是通过设计硬件或控制器，以确保机器人本体硬件的运动满足要求；另一种是通过测试和检验的方法，不断对系统进行压力测试，并不断迭代系统——这里可以用到很多机器学习的方法。

设计途径又分两个流派：一是 Passive Hardware，通过添加弹簧或其他能量吸收原件来实现，这在外骨骼中比较常见。二是我做得比较多的软件层面，可以用力传感器检测碰撞，并同时让机器人的刚度降低以减小碰撞能量，也可以用相机观察发生了什么，实时对环境做出反应，比如避免碰撞。

测试验证途径的流派就更百花齐放了。比如我目前正在研究的一种方法可以使用形式化方法计算神经网络的所有可能输出。例如前面有障碍物的情况下，验证输出中是否包含朝着障碍物碰撞的选项，如果有，就表示不安全，需要找出导致不安全的输入，然后重新训练。又譬如另一种方法，是将负责的软件变成符号系统，使人们能够理解，并帮助理解系统的可靠性。

绿洲：大家都在讨论家庭用的人形机器人，从材质而言，如果用金属材质，安全隐患是否会很大呢？

刘教授：的确。CMU 就有很多老师研究柔性机器人，类似“大白”的那种机器人。

绿洲：柔性机器人实现距离是不是更远呢？会不会有类似 Bert 和 GPT 的区别？

刘教授：我觉得会有类似的区别，主要还是看场景。柔性机器人在工业界的用途应该不太大，但是家庭环境和社会环境下就有很大潜力。工业环境里是训练有素的工人，家庭环境面对老人和小孩，机械设计肯定完全不同。

柔性机器人现在确实还是一个科研的问题，目前还没能解决如何量产，大都是手工在做，效率很低。但对于金属加工，工业界已经积累了大量的经验。

绿洲：柔性机器人的主要材质是什么？

刘老师：可以有各种不一样的材质。比如斯坦福的一个老师做的纯气球表面，它像一条蛇，充气，机械臂就变长，抽气就变短。我的同事做过用织物做的机器人，我们当时还把织物拿过来给机器人当皮肤，因为可以直接把传感器织进去。

绿洲：您对这波人形机器人火的感受如何呢？

刘教授：我的感受是做偏虚拟的人，因为研究的迭代速度快、更容易形成统一的 Benchmark，所以论调声音都比较响，比如说做 CV 的。我们目前看到的是许多做 CV 的学者想开始由虚入实，并经此提出概念。虽然虚实结合这一步传统方向也一直在做，但路径不一样。比如 Embodied AI 对传统技术来说，是先有 Embodyment，然后加上 AI，是 AI for Embodied XXX 或 AI for Robotics。虽然已经做了很久，但并不完全被外界知晓。

绿洲：看来学术界和工业界有点像，Marketing 能力很重要。

刘老师：是的，presentation、marketing 是非常重要的，酒香也怕巷子深。如果一上来就讲公式讲细节，容易直接把听众给讲晕了（笑）。

绿洲：华为发了一篇论文中了 Nature，让全球做气象预测最好的机构受到了震动，需要大型超算的气象数据壁垒似乎就要被打破。机器人领域是否也会有类似弯道超车的情况？

刘教授：硬件成本的下降是弯道超车的好机会，国内的零部件通过这一波都会起来，我觉得对行业来说这也是好事。

绿洲：机器人从研究角度来说，假设会有下一个里程碑，会是怎样的里程碑？

刘教授：可能会有不同方向的里程碑。比如如果能做出快速 Robot Learning，没有“Sim to Real”的距离，达到人类学习的效率，就是极大的里程碑。沿着这个角度，实现 Continue Learning 也是一大里程碑，机器人学习是有 Reset 的，而人的学习是连续的。还有一个里程碑就是我研究的方向，安全保障。

绿洲：机器人从安全角度来说比软件更值得重视么？

刘教授：机器人系统太复杂，比一般软件的系统复杂得多，包括电机，硬件连接，电线……任何地方都可能出错。安全问题容易引起共鸣。其实 Adversary Attack（对抗攻击）出现也很多年了，但直到大语言模型出现，大家才突然有了紧迫感。

绿洲：您的研究结合了经济学和工程学，有什么心得体会？

刘教授：经济学最初主要是启发我开始做人机交互研究。从工程学来说，主要的研究方法是给一个微分方程，离物理世界比较近。微分方程可以描述人的运动，但是离人的认知和高层决策比较远。想让机器人有更多的智能，肯定要考虑更多的这个认知层面的、决策层面的内容，我觉得经济学的研究在这个领域已经比较透彻了。

当年我希望将经济学里面的一些关于人的行为描述的模型，用到机器人的控制里。经济学假设人都是理性的，有目标的，并会根据目标去选择他/她的行动，把这一套内容和工程里面解 ODE 联合到一起，既能让机器人有像人一样的思考能力，又能让机器人有在物理世界做出正确运动的能力。

绿洲：Agent 的发展和机器人研究的关联度大么？

刘教授：我们的研究本质上来说就是想让 Agent 来控制机器人。通常讲机器人智能，机器人传统控制，是一个主从模式：上层是智能，下层是传统控制。如果直接做智能机器人控制的话，我们就叫它 Agent，这个 Agent 具有类人的感知能力和决策能力。

绿洲：您目前的研究方向也是您追求的终极目标么？

刘教授：是的。我一直跟我的学生说，你不觉得你造一个机器人出来，让他/她跟你一样，长得也像，思考也很像，行动也很像，是一件很酷的事情吗？（笑）