麻省理工学院的一个研究团队近日开发出一种基于视觉的深度学习技术，该方法仅需一个摄像头，即可使软体机器人和仿生机器人具备运动与控制的学习能力。
这项新技术有望显著降低机器人研发的成本，相关研究成果已于6月25日发表在自然期刊上。
当前的工业机器人虽然建模和控制较为简便，但由于其刚性结构，在面对狭窄或凹凸不平的地形时表现受限。而软体机器人和仿生机器人尽管在环境适应性方面更具优势，但通常需要大量传感器和专门设计的空间模型。
此次，MIT的研究人员利用深度学习解决了这一难题。新系统通过单个摄像头捕捉机器人的运动画面，并结合被称为“神经雅可比场（NJF）”的技术，使机器人能够通过视觉反馈建立起对其自身形态与运动能力的理解。
研究人员使用多视角、2至3小时的随机运动视频对多种机器人进行了训练，成功让神经网络从单帧图像中重建出机器人的三维形态及其动作范围。
在多项测试中，包括气动软体机械手、奥利格罗机械手（16自由度）、3D打印机械臂以及低成本的Poppy机械臂，该系统表现出色，实现了以下性能：
关节运动误差低于3度
指尖控制误差小于4毫米
可根据环境变化进行自我调整
项目负责人、MIT助理教授文森特•西茨曼表示：“将视觉作为弹性传感手段，为农业、建筑等非结构化环境中的机器人应用打开了新的窗口。”
他进一步指出，这种视觉反馈机制使得系统能够构建自身运动的动力学模型，在传统定位方式难以奏效的场景下，仍能实现自监督运行。