(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 202210721155.9 (22)申请日 2022.06.24 (65)同一申请的已公布的文献号 申请公布号 CN 114789454 A (43)申请公布日 2022.07.26 (73)专利权人 浙江大学 地址 310058 浙江省杭州市西湖区余杭塘 路866号 (72)发明人 胡伟飞　忻奕杰　胡新锋　程锦　 刘振宇　谭建荣　 (74)专利代理 机构 杭州求是专利事务所有限公 司 33200 专利代理师 贾玉霞 (51)Int.Cl. B25J 9/16(2006.01)(56)对比文件 CN 114442510 A,202 2.05.06 US 2021110262 A1,2021.04.15 US 20193 61589 A1,2019.1 1.28 WO 2022099997 A1,202 2.05.19 CN 114296408 A,202 2.04.08 CN 112440281 A,2021.0 3.05 CN 112297013 A,2021.02.02 CN 114035425 A,202 2.02.11 CN 111413887 A,2020.07.14 CN 110977981 A,2020.04.10 胡海鹰等.虚拟现实技 术在机器人臂/灵巧 手遥操作中的应用. 《系统仿真学报》 .20 04,(第 10期), 审查员 马晓迪 (54)发明名称 基于LSTM和逆运动学的机器人数字孪生轨 迹补全方法 (57)摘要 本发明公开一种基于LSTM和逆运动学的机 器人数字孪生轨迹补全 方法， 该方法先通过训练 集训练运动轨迹预测网络， 并在在线时通过训练 好的运动轨迹预测网络输出当前时刻机器人所 有关节的关节角度的预测值； 然后通过逆运动学 求解， 得到若干组当前时刻的机器人所有关节的 关节角度的计算值， 将所有的计算值和预测值进 行对比， 若误差小于阈值， 则输出预测值到虚拟 环境中， 实现虚实同步； 否则， 将计算值输入回到 虚拟环境中， 实现虚实同步。 本发明的机器人数 字孪生轨迹补全 方法， 能够基于获取得到的正常 机器人状态轨迹数据对丢失的数据进行预测， 且 能够保证每个时刻 的轨迹预测不会出现较大偏 差， 快速预测出丢失的数据使虚实达 到同步。 权利要求书2页 说明书5页 附图4页 CN 114789454 B 2022.09.06 CN 114789454 B 1.一种基于LSTM和逆运动学的机器人数字孪生轨迹补全方法， 其特征在于， 该方法具 体包括如下步骤： （1） 根据从真实机器人中传输到虚拟环境中的机器人轨迹运行数据， 从每一个时刻的 机器人的状态数据中筛选出机器人各个关节的关节角度数据， 以单一时刻所有关节的关节 角度数据为 一组， 进行归一 化， 得到运动轨 迹预测网络的训练集数据； （2） 采用训练集训练运动轨 迹预测网络； （3） 给定一个基于工件坐标系的机器人的六维末端坐标， 将机器人初始所有关节的关 节角度数据和六维末端坐标传输 到虚拟环境中 暂存； （4） 将末端坐标输入真实机器人， 真实机器人开始运动， 通过socket协议实时读取真实 机器人状态数据， 并同步到虚拟环境中； 将所述虚拟环境中得到的机器人状态数据进行筛 选， 得到所有关节的关节角度数据， 进行实时保存； （5） 将当前时刻的机器人所有关节的关节角度 数据与保存的前一 时刻的虚拟环境中的 机器人所有关节的关节角度数据进 行对比， 若超出限定范围时， 则判断轨迹数据出现异常， 开始轨迹补全； （6） 将当前时刻之前的两个时刻的机器人所有关节的关节角度数据按照时间序列排 序， 归一化后， 输入到训练好的运动轨迹预测网络中， 输出当前时刻机器人所有关节的关节 角度的预测值； （7） 根据步骤 （3） 得到的机器人运动的六维末端坐标， 进行逆运动学求解， 获取最后时 刻的机器人所有关节的关节角度， 结合暂存的初始 位置的机器人所有关节的关节角度数据 和步骤 （6） 得到的机器人所有关节的关节角度预测值， 并基于这三组数据得到若干组当前 时刻的机器人 所有关节的关节角度的计算 值； （8） 将步骤 （7） 得到的若干组当前时刻的机器人所有关节的关节角度的计算值与步骤 （6） 得到的预测值分别进 行对比， 若误差均小于 设定阈值， 则将当前时刻机器人所有关节的 关节角度的预测值输入回到虚拟环境中， 实现虚拟环境的机器人运动和现实中的机器人的 运动同步； 否则， 将与步骤 （6） 得到的预测值误差最小的当前时刻的机器人所有关节的关节 角度的计算值输入回到虚拟环境中， 实现虚拟环境的机器人运动和真实机器人的运动同 步。 2.根据权利要求1所述的基于LSTM和逆运动学的机器人数字孪生轨迹补全方法， 其特 征在于， 基于工件坐标系的机器人的六维末端坐标包含机器人末端的三 维空间坐标与旋转 角度P=[X,  Y, Z, Rx, Ry, Rz]T。 3.根据权利要求1所述的基于LSTM和逆运动学的机器人数字孪生轨迹补全方法， 其特 征在于， 所述 运动轨迹预测网络为20个LSTM组成的循环神经网络 。 4.根据权利要求1所述的基于LSTM和逆运动学的机器人数字孪生轨迹补全方法， 其特 征在于， 所述的步骤 （7） 中的若干组数据的数量 等于机器人关节的数量。 5.根据权利要求1所述的基于LSTM和逆运动学的机器人数字孪生轨迹补全方法， 其特 征在于， 当机器人用于抓取时， 真实物理环境包括物理机器人、 机械爪、 深度相 机以及待抓 取物体集合； 机械爪为二指平行自适应夹爪； 虚拟环境为上位机通过与物理硬件进行虚实 信息传递所构建的虚拟机器人环境， 包括环境的模型、 机器人模型与状态、 夹爪模型与状 态、 深度相机姿态； 其中， 机器人状态包括机器人几何信息、 型号， 各关节角度信息； 夹爪状权　利　要　求　书 1/2 页 2 CN 114789454 B 2态包括当前夹爪开合状态以及夹爪张开的宽度； 深度相机姿态为深度相机坐标系相对于机 器人基坐标系的位置和姿态， 共6个参数。权　利　要　求　书 2/2 页 3 CN 114789454 B 3