从展台到产线,具身智能还差几步

新京报
5次浏览

今年WAIC,具身智能厂商集中包下展馆单独一层。在京剧、踢球、舞蹈等表演展台前依然围满举着手机的观众。但在楼下或楼外的论坛里,产业一线的声音远没有那么热闹。VgW速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

展台热闹之外,焦虑也在产线蔓延。“能用到可用,是从0.1到100的鸿沟。”智元合伙人、高级副总裁,觅蜂科技董事长兼CEO 姚卯青说。博世中国战略副总裁、机器人业务负责人刘敏甚至给出更具体的数字:节拍压进6秒、准确率做到99%以上。达不到这些数字,工厂不会买单。VgW速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

具身智能正在从Demo艰难走向能稳定干活、不出错的交付阶段。模型和硬件都有各自的硬仗要打。VgW速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

具身智能仍未解决准确性、泛化性等问题VgW速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

在“AI in Action·腾讯AI应用创新论坛”的圆桌讨论上,产业一线几乎将矛头都指向了实验室与现实间的落差。VgW速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

姚卯青坦承,具身和人形机器人在制造场景中的应用依然处于协作和实验阶段。“目前更多还是协作机器人在解决工业自动化尚未解决的问题,以提高效率、代替人工实现柔性。”VgW速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

“行业去年已经解决了运动性问题,今年在探索、迭代操作性问题。”刘敏认为,算法变成具身大脑落地,在一些工业场景已可满足使用。在商用场景,机器人能从60秒左右压缩到30秒左右,但准确率需要提高至90%以上。VgW速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

机器人在实验室能干活,不代表去到现实世界也能干活,这背后涉及节拍、准确性、泛化性等问题。VgW速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

节拍与机器人的速度有关,以工业场景为例,6秒可能只是门槛,并且需要机器人在执行任务时实现99%以上的准确度。VgW速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

姚卯青分享了一个真实案例。上个月在江西南昌的产线上,智元机器人六天操作六万多件产品,成功率达到99.99%,但此前已经在24小时产线上全工段跑了三四个月。VgW速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

腾讯首席科学家、Robotics X 实验室主任、福田实验室主任张正友在接受新京报贝壳财经等媒体采访时表示,Physical AI可以在不完美的情况下落地。工业领域存在某些物体类别较少、环境相对结构化、需要数据量相对较少的场景,通过互联网视频、第一人称、UMI采集等数据增加预训练,就能快速适配。“唯一差别可能是针对某些场景多采集一些数据。”VgW速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

而进入家庭等非结构性环境的要求则截然不同。“需要从机器人形态、智能等方面保障100%安全。”张正友说。VgW速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

泛化性则关系到机器人能否完成更多具体任务。“这个鸿沟可能是因为在实验室时,机器人所有的数据场景都是提前设计好的,一旦走向真实世界、开放任务,模型暂时无法展现智能涌现的能力。”北京大学计算机学院研究员、博士生导师仉尚航认为,具身智能还没有解决泛化性问题。模型是具身研究的基础,目前还处于百花齐放的开始阶段。VgW速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

模型技术尚未收敛,分层架构将长期稳定VgW速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

具身智能研究需要模型、本体和数据形成闭环。目前整个具身智能的技术栈远未收敛。去年VLA(视觉-语言-行动)还是行业热词,今年主角已经换成了世界模型。但究竟什么是世界模型,行业连定义都还没对齐。VgW速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

在张正友看来,VLA的短板是明确的,它没有预测能力,而世界模型可以基于行动后果进行预测。VLA要实现泛化需要大量数据,VLM 出现后,基于海量视频、图像训练,提高了理解能力,VLA开始向世界模型的范式推进,世界模型也开始接上行动这一层。VgW速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

今年WAIC期间,腾讯Robotics X实验室及福田实验室联合腾讯混元推出两款具身智能基座模型:具身VLM基座模型Hy-Embodied-VLM-1.0,以及具身世界认知基座模型Hy-Embodied-RxBrain-1.0(简称RxBrain)。VgW速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

RxBrain将机器人左右脑之间的“高速桥梁”连接起来,同时传递语言和视觉信息。模型在分解子任务时,可以用文字、图像“描述”世界,让机器人在执行任务时,可以同时使用语言和视觉描述来指导执行。VgW速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

“相比其他仅用文本或简单拼凑的方案,我们模型的效果有明显提升。”张正友说。同时,RxBrain也能根据子任务完成情况对世界进行预测。VgW速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

在张正友看来,世界模型下一个有价值的方向,在于模型同时传递语言和图像信息,能推理,也具备想象力。VgW速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

对于模型架构,张正友认为分层架构将长期稳定,“因为这接近人脑的结构”。但每一层内部的模型实现会持续迭代。VgW速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

人机交互的难题同样需要分层来解决。张正友指出,机器人操作物体、与人物理接触的问题最难解决,通常涉及触觉和力的感知。VgW速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

“人机交互容错率极低,搀扶老人时不能捏碎骨头或让其受伤,一旦机器人与人接触时绊了一脚,需要底层快速的肢体反应,而用VLA模型100毫秒的决策周期根本来不及。触觉反馈约需1毫秒,视觉反馈最快15毫秒。目前要实现这样的效果还有许多工作要做,需要将不同频率的感知信息与模型结合。”张正友说。VgW速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

模型要翻越的另一道坎是数据。目前行业对数据金字塔已形成一定共识:最底层为互联网视频数据,第二层是第一人称操作的数据,第三层是UMI采集的数据,最顶层是真机遥操数据。VgW速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

张正友认为,如果模型泛化能力越来越强,遥操数据需求可能会越来越少,第二层和第三层的数据需求可能会越来越多、要求越来越高,“但数据质量永远是第一位。”VgW速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

硬件未迎来终局VgW速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

“模型属于技术问题,硬件属于工程问题。大脑问题解决后,下一个瓶颈将是硬件。”越疆科技股份有限公司创始人、董事长兼CEO刘培超提出,现阶段行业依然需要加大工程能力突破硬件瓶颈。VgW速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

他以机器人手臂为例解释称,过去机械臂有6个轴,现在至少20个轴、20个关节起步,系统更复杂,稳定性将成为瓶颈。VgW速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

刘培超对现阶段硬件条件下人形机器人能否在工业场景中撑起5万小时性能存疑。“5万小时是行业通用要求,实现5万小时后再突破10万小时,这是一个循序渐进的过程。目前在工业场景,手臂已经能支撑10万小时的性能。”VgW速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

姚卯青也指出,具身智能许多零部件的可靠性还未经过充分的时间检验。这个赛道真正成长只有两三年,现阶段许多零部件甚至还没有达到类似汽车16949标准的要求。VgW速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

“需求驱动硬件。一定要认清将来可能主要应用的场景,再设计硬件。”他以灵巧手为例:将自由度集中在那么小的空间里很难,需要在应用中寻找可靠性、成本、负载等“不可能三角”的平衡。“许多灵巧手依然存在一些早期问题,比如采集数据一两周就需要返修,或每工作半小时就要散热。这些可以通过探索应用改善。”VgW速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

行业内也存在“由模型定义本体”的声音。仉尚航认为,具身开放平台需要系统迭代形成飞轮,而这应当由模型来定义问题,比如自由度怎么设计、关节怎么设计,让机器人更具泛化性,甚至更容易跨本体升级和迭代。VgW速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

这与腾讯具身智能战略选择形成呼应。腾讯不做硬件本体,而是以Tairos(钛螺丝)平台承担具身大脑的角色,面向机器人本体厂家和应用开发商输出能力,同时通过硬件抽象层快速适配不同厂商的设备。VgW速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

张正友用手机、电脑行业打了个比方:就像iOS与安卓、Mac与Windows,机器人行业也会分化出“全栈自研”和“平台+生态”两条路,腾讯选的是后者。目前,Tairos已与越疆、宇树、智元等头部厂商落地合作。VgW速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

今年WAIC,具身智能厂商集中包下展馆单独一层。在京剧、踢球、舞蹈等表演展台前依然围满举着手机的观众。但在楼下或楼外的论坛里,产业一线的声音远没有那么热闹。VgW速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

展台热闹之外,焦虑也在产线蔓延。“能用到可用,是从0.1到100的鸿沟。”智元合伙人、高级副总裁,觅蜂科技董事长兼CEO 姚卯青说。博世中国战略副总裁、机器人业务负责人刘敏甚至给出更具体的数字:节拍压进6秒、准确率做到99%以上。达不到这些数字,工厂不会买单。VgW速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

具身智能正在从Demo艰难走向能稳定干活、不出错的交付阶段。模型和硬件都有各自的硬仗要打。VgW速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

具身智能仍未解决准确性、泛化性等问题VgW速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

在“AI in Action·腾讯AI应用创新论坛”的圆桌讨论上,产业一线几乎将矛头都指向了实验室与现实间的落差。VgW速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

姚卯青坦承,具身和人形机器人在制造场景中的应用依然处于协作和实验阶段。“目前更多还是协作机器人在解决工业自动化尚未解决的问题,以提高效率、代替人工实现柔性。”VgW速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

“行业去年已经解决了运动性问题,今年在探索、迭代操作性问题。”刘敏认为,算法变成具身大脑落地,在一些工业场景已可满足使用。在商用场景,机器人能从60秒左右压缩到30秒左右,但准确率需要提高至90%以上。VgW速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

机器人在实验室能干活,不代表去到现实世界也能干活,这背后涉及节拍、准确性、泛化性等问题。VgW速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

节拍与机器人的速度有关,以工业场景为例,6秒可能只是门槛,并且需要机器人在执行任务时实现99%以上的准确度。VgW速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

姚卯青分享了一个真实案例。上个月在江西南昌的产线上,智元机器人六天操作六万多件产品,成功率达到99.99%,但此前已经在24小时产线上全工段跑了三四个月。VgW速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

腾讯首席科学家、Robotics X 实验室主任、福田实验室主任张正友在接受新京报贝壳财经等媒体采访时表示,Physical AI可以在不完美的情况下落地。工业领域存在某些物体类别较少、环境相对结构化、需要数据量相对较少的场景,通过互联网视频、第一人称、UMI采集等数据增加预训练,就能快速适配。“唯一差别可能是针对某些场景多采集一些数据。”VgW速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

而进入家庭等非结构性环境的要求则截然不同。“需要从机器人形态、智能等方面保障100%安全。”张正友说。VgW速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

泛化性则关系到机器人能否完成更多具体任务。“这个鸿沟可能是因为在实验室时,机器人所有的数据场景都是提前设计好的,一旦走向真实世界、开放任务,模型暂时无法展现智能涌现的能力。”北京大学计算机学院研究员、博士生导师仉尚航认为,具身智能还没有解决泛化性问题。模型是具身研究的基础,目前还处于百花齐放的开始阶段。VgW速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

模型技术尚未收敛,分层架构将长期稳定VgW速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

具身智能研究需要模型、本体和数据形成闭环。目前整个具身智能的技术栈远未收敛。去年VLA(视觉-语言-行动)还是行业热词,今年主角已经换成了世界模型。但究竟什么是世界模型,行业连定义都还没对齐。VgW速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

在张正友看来,VLA的短板是明确的,它没有预测能力,而世界模型可以基于行动后果进行预测。VLA要实现泛化需要大量数据,VLM 出现后,基于海量视频、图像训练,提高了理解能力,VLA开始向世界模型的范式推进,世界模型也开始接上行动这一层。VgW速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

今年WAIC期间,腾讯Robotics X实验室及福田实验室联合腾讯混元推出两款具身智能基座模型:具身VLM基座模型Hy-Embodied-VLM-1.0,以及具身世界认知基座模型Hy-Embodied-RxBrain-1.0(简称RxBrain)。VgW速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

RxBrain将机器人左右脑之间的“高速桥梁”连接起来,同时传递语言和视觉信息。模型在分解子任务时,可以用文字、图像“描述”世界,让机器人在执行任务时,可以同时使用语言和视觉描述来指导执行。VgW速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

“相比其他仅用文本或简单拼凑的方案,我们模型的效果有明显提升。”张正友说。同时,RxBrain也能根据子任务完成情况对世界进行预测。VgW速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

在张正友看来,世界模型下一个有价值的方向,在于模型同时传递语言和图像信息,能推理,也具备想象力。VgW速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

对于模型架构,张正友认为分层架构将长期稳定,“因为这接近人脑的结构”。但每一层内部的模型实现会持续迭代。VgW速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

人机交互的难题同样需要分层来解决。张正友指出,机器人操作物体、与人物理接触的问题最难解决,通常涉及触觉和力的感知。VgW速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

“人机交互容错率极低,搀扶老人时不能捏碎骨头或让其受伤,一旦机器人与人接触时绊了一脚,需要底层快速的肢体反应,而用VLA模型100毫秒的决策周期根本来不及。触觉反馈约需1毫秒,视觉反馈最快15毫秒。目前要实现这样的效果还有许多工作要做,需要将不同频率的感知信息与模型结合。”张正友说。VgW速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

模型要翻越的另一道坎是数据。目前行业对数据金字塔已形成一定共识:最底层为互联网视频数据,第二层是第一人称操作的数据,第三层是UMI采集的数据,最顶层是真机遥操数据。VgW速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

张正友认为,如果模型泛化能力越来越强,遥操数据需求可能会越来越少,第二层和第三层的数据需求可能会越来越多、要求越来越高,“但数据质量永远是第一位。”VgW速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

硬件未迎来终局VgW速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

“模型属于技术问题,硬件属于工程问题。大脑问题解决后,下一个瓶颈将是硬件。”越疆科技股份有限公司创始人、董事长兼CEO刘培超提出,现阶段行业依然需要加大工程能力突破硬件瓶颈。VgW速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

他以机器人手臂为例解释称,过去机械臂有6个轴,现在至少20个轴、20个关节起步,系统更复杂,稳定性将成为瓶颈。VgW速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

刘培超对现阶段硬件条件下人形机器人能否在工业场景中撑起5万小时性能存疑。“5万小时是行业通用要求,实现5万小时后再突破10万小时,这是一个循序渐进的过程。目前在工业场景,手臂已经能支撑10万小时的性能。”VgW速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

姚卯青也指出,具身智能许多零部件的可靠性还未经过充分的时间检验。这个赛道真正成长只有两三年,现阶段许多零部件甚至还没有达到类似汽车16949标准的要求。VgW速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

“需求驱动硬件。一定要认清将来可能主要应用的场景,再设计硬件。”他以灵巧手为例:将自由度集中在那么小的空间里很难,需要在应用中寻找可靠性、成本、负载等“不可能三角”的平衡。“许多灵巧手依然存在一些早期问题,比如采集数据一两周就需要返修,或每工作半小时就要散热。这些可以通过探索应用改善。”VgW速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

行业内也存在“由模型定义本体”的声音。仉尚航认为,具身开放平台需要系统迭代形成飞轮,而这应当由模型来定义问题,比如自由度怎么设计、关节怎么设计,让机器人更具泛化性,甚至更容易跨本体升级和迭代。VgW速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

这与腾讯具身智能战略选择形成呼应。腾讯不做硬件本体,而是以Tairos(钛螺丝)平台承担具身大脑的角色,面向机器人本体厂家和应用开发商输出能力,同时通过硬件抽象层快速适配不同厂商的设备。VgW速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

张正友用手机、电脑行业打了个比方:就像iOS与安卓、Mac与Windows,机器人行业也会分化出“全栈自研”和“平台+生态”两条路,腾讯选的是后者。目前,Tairos已与越疆、宇树、智元等头部厂商落地合作。VgW速刷资讯——探索最新科技、每天知道多一点SUSHUAPOS.COM

本文链接:http://m.sushuapos.com/show-2-16878-0.html从展台到产线,具身智能还差几步

声明:本网站为非营利性网站,本网页内容由互联网博主自发贡献,不代表本站观点,本站不承担任何法律责任。天上不会到馅饼,请大家谨防诈骗!若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。

热门文章

延伸阅读

相关阅读

美拟对中国制造联网汽车开展国家安全风险审查,商务部回应
  中新经纬3月4日电 商务部网站4日消息,商务部新闻发言人就美国政府拟对中国制造联网汽车开展国家安全风险审查答记者问。  有记者问:2月29日,美国政府发布公告,将对中国制造联网汽车开展国家安全风险审查。请问中方
1月召回909.96万辆汽车,美系占比过半
  中新经纬3月4日电 国家市场监督管理总局日前发布《2024年1月国内外产品召回信息》显示,2024年1月,中国、美国、欧盟、德国、英国、日本、韩国、澳大利亚实施汽车召回216次,召回数量909.96万辆(欧盟未公开数量)。  
“新能源汽车第一城”再易主,深圳大幅超车,还有这些城市在踩油门
  “新能源汽车第一城”再易主,深圳大幅超车,还有这些城市在踩油门  2023年各地新能源汽车产量陆续公布,深圳首次登上全国第一的宝座,上海、西安分列二三位。  由此,最近三年的“新能源汽车第一城”三度易主,2021年、
两会闻风|统一标准、完善法律,代表委员热议新能源汽车
  中新经纬3月6日电 (董文博)作为国民经济的重要支柱产业之一,汽车产业发展情况备受各界关注。2024年政府工作报告指出,中国新能源汽车产销量占全球比重超过60%。  今年全国两会期间,新能源汽车也是不少代表委员关注
专访全国政协经济委员会副主任尹艳林:当前既不是通缩,也不是“流动性陷阱”,而是需求不足
21世纪经济报道记者杨志锦 北京报道3月5日,十四届全国人大二次会议在京开幕,国务院总理李强作政府工作报告。就政府工作报告提出的经济增长目标、财政货币政策安排及风险化解等问题,两
南财记者直击民生主题记者会 四位部长回应就业、住房等热点问题

热点精选

最新推荐

您可能感兴趣