分享好友 资讯首页 频道列表

李飞飞团队突破具身智能瓶颈:触觉独立通道让机器人“感知”世界

2026-07-06 10:5726510

机器人领域正经历一场认知革命。当行业普遍将多模态数据视为通往通用智能的钥匙时,一支跨国研究团队用一组反常识的实验数据,撕开了具身智能发展路径上的隐秘裂缝。他们发现,将触觉信号强行注入视觉主导的模型架构,不仅没有提升操作精度,反而导致任务成功率从17%暴跌至6%。这个看似荒诞的结果,实则暴露出整个领域长期忽视的感知模态匹配难题。

实验采用的π0.5模型堪称行业标杆,其架构设计遵循着"感知即融合"的黄金法则。研究团队仅添加了触觉传感器数据,却意外触发系统崩溃。深入追踪发现,视觉信号以每秒5帧的节奏更新,而触觉反馈需要每秒20次以上的采样率才能捕捉压力变化。这种时间尺度的根本差异,使得高频触觉数据在低频Transformer架构中沦为噪声,最终导致视觉表征与触觉反馈相互干扰。

面对这个结构性矛盾,科研人员构建了全新的T-Rex框架。该系统创造性地采用混合专家架构,将控制权分配给三个独立模块:潜在专家以视觉语言数据构建场景预测,动作专家在低频维度生成基础运动轨迹,触觉专家则在接触瞬间以毫秒级响应进行精细调整。这种设计让不同感知模态在各自适用的时间尺度上独立运行,仅在决策层进行信息融合。

技术突破的关键在于时空触觉编码器的发明。研究团队开发的VQ-VAE模块能将连续力信号转化为离散"触觉词汇",既保留动态变化特征,又过滤传感器噪声。配合专门构建的触觉数据集——涵盖200种日常物品与22种基础动作的100小时同步记录——使得模型能够学习通用的触觉-动作映射关系,而非死记硬背特定场景的解决方案。

训练策略同样体现分层智慧。系统首先通过22,889小时的人类操作视频建立运动先验,再用机器人触觉数据进行跨模态对齐,最终通过少量示范数据激活专项能力。这种渐进式学习使触觉模块得以"嫁接"在成熟的视觉运动框架上,显著降低数据依赖度。在翻书页、转移生鸡蛋等12项精细操作测试中,新系统较基线模型取得超过30%的平均成功率提升。

消融实验进一步验证设计合理性。当移除触觉输入时,系统性能出现断崖式下跌;若强制触觉降频同步视觉,操作精度同样显著下降。这些结果证明,T-Rex的成功源于对感知模态特性的深度理解——触觉需要独立的高速处理通道,而非简单堆砌数据维度。

这项研究正在重塑具身智能的技术范式。传统将所有感知塞进单一Transformer的"万能公式",在涉及物理交互的场景中显露出根本缺陷。触觉作为快变量,其处理逻辑与视觉语言等慢变量存在本质差异。正如神经科学中的双流假说所示,生物系统早已将"识别"与"操作"分离处理,T-Rex框架实质上是在机器人领域复现了这种演化智慧。

当前技术仍存在局限。对于需要数秒级连贯动作的复杂任务,示范数据的覆盖度仍显不足;全手掌触觉感知与传感器标定等工程难题也有待突破。但这些挑战无法掩盖范式转变带来的启示:真正的物理智能,需要为不同感知模态构建专属的处理通道,让机器人既能"看"懂世界,更能"摸"透世界。

反对 0
举报 0
收藏 0
打赏 0
评论 0
苹果裁减Siri和Vision Pro团队数百个工作岗位
苹果裁减Siri和Vision Pro团队数百个工作岗位

0评论2026-08-232870

人形机器人运动会:天卓队“天工Ultra”勇夺大型组100米预赛小组第一
人形机器人运动会:天卓队“天工Ultra”勇夺大型组100米预赛小组第一

0评论2026-08-231342

特斯拉Cybercab发布会定档9月3日 取消方向盘踏板或成自动驾驶新里程碑
特斯拉Cybercab发布会定档9月3日 取消方向盘踏板或成自动驾驶新里程碑

0评论2026-08-232650

全球首款自主打网球机器人“银河星仔”亮相,携手名将上演人机混双精彩对决
全球首款自主打网球机器人“银河星仔”亮相,携手名将上演人机混双精彩对决

0评论2026-08-23716

OpenAI首席财务官透露上市计划:2027年或提前 走自己的路不惧竞争
OpenAI首席财务官透露上市计划:2027年或提前 走自己的路不惧竞争

0评论2026-08-201640

“光进来,词元直接出去”!中国团队领衔,成功研制这一芯片
“光进来,词元直接出去”!中国团队领衔,成功研制这一芯片

0评论2026-08-201191

暗物质暗能量真相几何?今日14:30张朝阳对话宇宙学家苏比尔·萨卡尔探秘
暗物质暗能量真相几何?今日14:30张朝阳对话宇宙学家苏比尔·萨卡尔探秘

0评论2026-08-182100

每日互动发布“仝人编程”:可自动完成设计、开发与部署
每日互动发布“仝人编程”:可自动完成设计、开发与部署

0评论2026-08-182477

A股“人形机器人第一股”宇树科技8月19日上市,发行市值约610亿元
A股“人形机器人第一股”宇树科技8月19日上市,发行市值约610亿元

0评论2026-08-182710

北京科研团队创新突破:生猪“干饭”时,免疫注射机器人精准打疫苗
北京科研团队创新突破:生猪“干饭”时,免疫注射机器人精准打疫苗

0评论2026-08-182075