匹兹堡大学辅助机器人项目引入Meta视觉模型，推进端侧环境感知

Meta AI于2026年7月27日发布文章，介绍匹兹堡大学人类工程研究实验室（HERL）与辅助技术企业ATDev共同推进的RAMMP项目。该项目获得美国卫生高级研究计划局（ARPA-H）支持，资助规模最高可达4150万美元，目标是建设面向残障人士的机器人辅助移动与操作平台。

RAMMP把先进机器人、新型操作系统和数字孪生技术结合起来，并引入Meta开源视觉模型DINO与Segment Anything Model（SAM）。数字孪生用于建立虚拟仿真环境，支持更安全、可扩展的测试和开发；视觉模型则承担环境理解、目标识别和训练数据标注等任务。

项目的一项重点，是让视觉模型直接运行在移动平台和机械臂的端侧硬件上。辅助设备需要及时应对儿童突然进入道路、路缘出现或物品掉落等日常变化，而本地处理摄像头图像和传感器数据，可以减少对网络连接的依赖。开发团队同时需要在电池续航、散热、设备尺寸和重量之间取得平衡，并通过缩小模型内存占用、在适当场景采用较低精度及调整部署格式，维持实时运行。

官方文章称，RAMMP首个原型正在利用基于DINO构建的工具查询机器人图像传感器，从而识别自动门按钮、杯子以及用于导航的路缘和地面。相关功能已准备进入真实环境测试，工程人员正在继续开发语音和触摸输入，使使用者能够选择并操作周围的特定物体。团队还在处理模型输出的准确性、时间一致性，以及不同用户提示下的稳定性和可预测性。

在感知系统中，RAMMP采用轻量级检测模型RF-DETR，并使用DINOv2嵌入进行微调。SAM负责自动标注训练数据，覆盖不同角度、高度、背景和光照条件；数据增强及多视角策略用于提高跨视角一致性。文章称，这一组合可提供实时的360度环境感知和自适应目标检测。

Meta将DINOv3描述为可在设备上运行的通用视觉基础，任务专用的轻量模块可叠加其上，用于目标检测或运动跟踪。项目也会在速度与边界精度、特征细节之间作出取舍，以适应紧凑的电池供电硬件。官方文章没有给出临床试验结果、正式产品发布时间或规模化应用数据；目前公布的进展集中于原型集成与真实环境测试准备。