近日，我院教师以“Predictive Body Awareness in Soft Robots: A Bayesian Variational Autoencoder Fusing Multimodal Sensory Data（软机器人中的预测性身体意识：融合多模态传感数据的贝叶斯变分自编码器）”为题在机器人与自动化领域国际顶级刊物《IEEE Transactions on Robotics》（中科院1区，机器人领域顶级期刊）上发表论文。我院王舒禹副教授为论文第一作者兼通讯作者，刘东灵硕士为论文重要完成人，东北大学为论文第一完成单位。

软机器人的身体意识构建是实现其具身智能的核心需求。然而，当前软机器人感知技术长期受限于三大瓶颈：其一，多模态感知融合困难，视觉、触觉与本体感觉数据难以在统一框架下高效整合；其二，预测模型缺失，现有方法多侧重于状态估计，缺乏对因果流和未来运动事件的预测能力；此外，生物启发机制应用不足也是一大难题，多数系统未借鉴人类神经系统的预测编码原理，限制了机器人在非结构化环境中的自适应能力。

本项研究创新性地基于自由能原理，在贝叶斯概率深度学习框架下构建了多模态融合表示学习与预测模型（MF4RLP）。该系统深度融合了视觉、压力传感和弯曲传感信号，通过多模态关联机制增强了融合过程，建立了鲁棒的计算方法。模型能够利用当前状态和图像差异，预测软夹爪在图像流中的物理交互和运动，相当于“想象”未来的运动事件。通过采用变分自编码器（VAE）架构与四阶段训练策略，MF4RLP在数据融合效率与预测准确性上显著优于同类研究。

在应用验证中，研究团队收集了包含1600组实验的新数据集，涵盖8种日常物体。该系统成功实现了对软夹爪抓取结果的分类预测，准确率达到约99%。此外，系统展示了有效的跨模态推理能力，仅凭视觉输入即可“想象”出压力传感结果（R²=0.92），类似于人类心理学中的“橡胶手错觉”实验。在未来状态预测任务中，模型预测图像的结构相似性（SSIM）与峰值信噪比（PSNR）均表现出色，物体运动轨迹偏差控制在10%以内。这项工作为开发具有生物合理性身体意识、高精准度预测与多模态感知能力的软机器人系统提供了创新框架，为其作为先进传感应用所需的具身智能开发奠定了重要基础。

图1. (a) 多模态传感系统（相机、压力、弯曲传感器）捕捉软夹爪信号；(b) 贝叶斯推理过程示意图；(c) 抓取案例的未来状态预测；(d) 跨模态压力预测结果。

论文链接：https://doi.org/10.1109/TRO.2025.3610170

（编辑：周宣任 审核：陈茂庆）