自变量发布TwinDEX：数百条无本体数据教机器人学会灵巧操作

新闻来源：央广网　发布时间：9月2日

9月2日，自变量机器人发布TwinDEX，首次实现由纯无本体数据、零真机遥操作数据驱动的灵巧操作。机器人要进入更多真实场景，不仅需要具备感知和理解能力，还需要拥有精细、稳定的操作能力。对于具身智能而言，灵巧操作一直是较难突破的环节，而高质量训练数据的获取则是其中的重要制约因素。传统真机遥操作受机器人数量、场地和设备使用时间等因素限制，采集成本较高，也难以快速扩大规模。

图片来源：自变量机器人展示视频

TwinDEX包括一套可穿戴数据采集系统和与其匹配的机器人灵巧手，前者采集人的操作动作，后者在机器人端执行。通过提高采集端与执行端的一致性，基础模型仅使用数百条无本体数据进行训练，即可直接控制机器人完成复杂操作任务。此次展示中，TwinDEX完成了一套完整的化学实验，包括开瓶取样、药勺取样、滴管操作、玻璃棒引流、摇匀观察等24个连续动作。

整套任务涉及三种工具，以及多次双手协同和工具切换。操作过程包括旋拧试剂瓶、使用滴管完成吸液、挤压和滴液、利用玻璃棒进行引流等，涉及精细抓取、工具使用、双手协同和接触力控制等多种能力。

这套策略完全由无本体数据训练而成，训练过程中没有引入真机遥操作数据，训练完成后即可直接部署到机器人上。无本体数据此前难以直接应用于机器人训练，一个重要原因在于人的手与机器人手在关节结构、运动范围和接触方式等方面并不相同。

TwinDEX从机器人最终执行效果出发，对数据采集系统进行反向设计，使采集端和执行端在自由度、关节轴、连杆比例，以及接触材料、几何特性等方面保持一致，并结合模型和训练策略降低残余差异对任务效果的影响。

在硬件设计上，TwinDEX采用三指九自由度灵巧手，在灵巧性、可靠性和成本之间进行平衡。其可穿戴三指外骨骼作为采集端，一名操作员、一张桌子、一套设备即可组成一个数据采集单元，并可通过增加设备和操作员实现并行采集。相关任务中，其每小时数据采集效率达到真机遥操作的5.3倍。

评测显示，在多任务基准上，无本体数据训练出的策略性能随数据量增长的趋势与真机遥操作数据基本一致，相关评测显示，其训练效果已接近完全替代真机遥操作数据。随着数据采集规模扩大，这一方式有望为具身智能模型训练和机器人应用提供新的数据来源。