分享好友 资讯首页 频道列表

李飞飞团队突破具身智能瓶颈:触觉独立通道让机器人“感知”世界

2026-07-06 10:5726920

机器人领域正经历一场认知革命。当行业普遍将多模态数据视为通往通用智能的钥匙时,一支跨国研究团队用一组反常识的实验数据,撕开了具身智能发展路径上的隐秘裂缝。他们发现,将触觉信号强行注入视觉主导的模型架构,不仅没有提升操作精度,反而导致任务成功率从17%暴跌至6%。这个看似荒诞的结果,实则暴露出整个领域长期忽视的感知模态匹配难题。

实验采用的π0.5模型堪称行业标杆,其架构设计遵循着"感知即融合"的黄金法则。研究团队仅添加了触觉传感器数据,却意外触发系统崩溃。深入追踪发现,视觉信号以每秒5帧的节奏更新,而触觉反馈需要每秒20次以上的采样率才能捕捉压力变化。这种时间尺度的根本差异,使得高频触觉数据在低频Transformer架构中沦为噪声,最终导致视觉表征与触觉反馈相互干扰。

面对这个结构性矛盾,科研人员构建了全新的T-Rex框架。该系统创造性地采用混合专家架构,将控制权分配给三个独立模块:潜在专家以视觉语言数据构建场景预测,动作专家在低频维度生成基础运动轨迹,触觉专家则在接触瞬间以毫秒级响应进行精细调整。这种设计让不同感知模态在各自适用的时间尺度上独立运行,仅在决策层进行信息融合。

技术突破的关键在于时空触觉编码器的发明。研究团队开发的VQ-VAE模块能将连续力信号转化为离散"触觉词汇",既保留动态变化特征,又过滤传感器噪声。配合专门构建的触觉数据集——涵盖200种日常物品与22种基础动作的100小时同步记录——使得模型能够学习通用的触觉-动作映射关系,而非死记硬背特定场景的解决方案。

训练策略同样体现分层智慧。系统首先通过22,889小时的人类操作视频建立运动先验,再用机器人触觉数据进行跨模态对齐,最终通过少量示范数据激活专项能力。这种渐进式学习使触觉模块得以"嫁接"在成熟的视觉运动框架上,显著降低数据依赖度。在翻书页、转移生鸡蛋等12项精细操作测试中,新系统较基线模型取得超过30%的平均成功率提升。

消融实验进一步验证设计合理性。当移除触觉输入时,系统性能出现断崖式下跌;若强制触觉降频同步视觉,操作精度同样显著下降。这些结果证明,T-Rex的成功源于对感知模态特性的深度理解——触觉需要独立的高速处理通道,而非简单堆砌数据维度。

这项研究正在重塑具身智能的技术范式。传统将所有感知塞进单一Transformer的"万能公式",在涉及物理交互的场景中显露出根本缺陷。触觉作为快变量,其处理逻辑与视觉语言等慢变量存在本质差异。正如神经科学中的双流假说所示,生物系统早已将"识别"与"操作"分离处理,T-Rex框架实质上是在机器人领域复现了这种演化智慧。

当前技术仍存在局限。对于需要数秒级连贯动作的复杂任务,示范数据的覆盖度仍显不足;全手掌触觉感知与传感器标定等工程难题也有待突破。但这些挑战无法掩盖范式转变带来的启示:真正的物理智能,需要为不同感知模态构建专属的处理通道,让机器人既能"看"懂世界,更能"摸"透世界。

反对 0
举报 0
收藏 0
打赏 0
评论 0
华为与高通签署多年期专利许可协议 首次覆盖5G技术
华为与高通签署多年期专利许可协议 首次覆盖5G技术

0评论2026-10-09978

麦当劳在美遭集体诉讼,被指用 AI 系统非法操纵菜单价格
麦当劳在美遭集体诉讼,被指用 AI 系统非法操纵菜单价格

0评论2026-10-091605

树莓派5纯CPU也能跑AI:离线指令毫秒级响应
树莓派5纯CPU也能跑AI:离线指令毫秒级响应

0评论2026-10-022145

量子计算新引擎!量立方开源社区上海启航 共建全球协作生态圈
量子计算新引擎!量立方开源社区上海启航 共建全球协作生态圈

0评论2026-09-162886

Axelera AI发售第二代AIPU芯片Europa,629TOPS算力功耗仅45W
Axelera AI发售第二代AIPU芯片Europa,629TOPS算力功耗仅45W

0评论2026-09-161200

AI赋能新经济:多领域机器人“真干活” 加速走进现实场景
AI赋能新经济:多领域机器人“真干活” 加速走进现实场景

0评论2026-09-123085

数博会聚焦词元新路径:数据赋能AI,共绘数据产业新蓝图
数博会聚焦词元新路径:数据赋能AI,共绘数据产业新蓝图

0评论2026-09-121373

天钡NEX495S迷你主机AI工作站来袭,基于AMD处理器可支持192GB内存
天钡NEX495S迷你主机AI工作站来袭,基于AMD处理器可支持192GB内存

0评论2026-09-122177

英伟达加码澳大利亚AI基础设施:到2027年算力容量最高达2GW
英伟达加码澳大利亚AI基础设施:到2027年算力容量最高达2GW

0评论2026-09-101064

中科院博士何泳澔告别地瓜机器人,投身具身新公司聚焦工业场景落地
中科院博士何泳澔告别地瓜机器人,投身具身新公司聚焦工业场景落地

0评论2026-09-101708