(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210922002.0 (22)申请日 2022.08.02 (71)申请人 华南理工大 学 地址 510641 广东省广州市天河区五山路 381号 (72)发明人 黄沿江　汪子钦　 (74)专利代理 机构 广州嘉权专利商标事务所有 限公司 4 4205 专利代理师 郑宏谋 (51)Int.Cl. B25J 9/08(2006.01) B25J 9/16(2006.01) (54)发明名称 基于人体手臂运动信息预测的人机在线避 障方法及系统 (57)摘要 本发明公开了一种基于人体手臂运动信息 预测的人机在线避障方法及系统， 其中方法包 括： 获取人体手臂运动信息； 将人体手臂运动信 息输入LSTM ‑BP模型进行人体手臂运动的预测； 将人体手臂作为障碍物， 根据人体手臂运动的预 测信息获取斥力场； 将机器人的移动终点作为目 标点， 根据目标点获取引力场； 根据斥力场和引 力场获取机器人的末端位姿， 根据获得的末端位 姿控制机器人运动； 其中， 斥力场不仅与机器人 和障碍物之间的距离有关， 还与机器人和目标点 之间的距离有关。 本发明利用长短期记忆神经网 络结合反向传播神经网络预测人体手臂运动， 并 通过人工势场算法实现人机交互下的在线避障， 提升人机交互的安全性， 可广泛应用于人机交互 技术领域。 权利要求书3页 说明书12页 附图6页 CN 115502961 A 2022.12.23 CN 115502961 A 1.一种基于人体 手臂运动信息预测的人机在线 避障方法， 其特 征在于， 包括以下步骤： 获取人体手臂关键点 坐标， 根据人体 手臂关键点 坐标获取 人体手臂运动信息； 将获取的人体手臂运动信息输入LSTM ‑BP模型进行人体手臂运动的预测， 其 中LSTM‑BP 模型包括长短期记 忆神经网络和反向传播神经网络； 将人体手臂作为障碍物， 根据人体 手臂运动的预测信息获取斥力场； 将机器人的移动终点作为目标点， 根据目标点获取引力场； 根据斥力场和所述引 力场获取机器人的末端位姿， 根据获得的末端位姿控制机器人运 动； 其中， 所述斥力场不仅与机器人和障碍物之间的距离有关， 还与机器人和目标点之 间的 距离有关。 2.根据权利要求1所述的一种基于人体手臂运动信息预测的人机在线避 障方法， 其特 征在于， 所述 获取人体手臂关键点坐标， 根据人体手臂关键点坐标获取人体手臂 运动信息， 包括： 采用光学三维动作捕捉系统提取 人体手臂关键点 坐标； 根据人体手臂关键点坐标计算人体手臂关键点在三个维度 上的速度与加速度， 获得人 体手臂运动信息 。 3.根据权利要求1所述的一种基于人体手臂运动信息预测的人机在线避 障方法， 其特 征在于， 所述 LSTM‑BP模型通过以下 方式训练： 采用光学三维动作捕捉系统获取 人体手臂运动信息； 利用滑动窗口法所述人体 手臂运动信息进行 数据分割； 利用分割的数据信息对数据进行归一 化预处理， 并划分出训练集和 测试集； 采用训练集训练长短期记忆神经网络， 初始化网络参数， 在网络中进行参数训练和迭 代； 利用长 短期记忆神经网络训练获得的输出数据， 训练反向传播神经网络， 在反向传播神 经网络中进行参数 学习和迭代； 将测试集输进训练后的LSTM ‑BP模型， 对输出数据进行反归一化处理， 获得模型中的预 测值。 4.根据权利要求1所述的一种基于人体手臂运动信息预测的人机在线避 障方法， 其特 征在于， 所述斥力场的表达式为： 其中， η表示斥力场正比例增益因子； q为机器人位置坐标； qobs为目标点的位置坐标； d0表示障碍物 斥力势场所影响的最大距离； n表示斥力修 正因子； 当机器人向目标点靠近时， 斥力在斥力修正因子n的调节下逐渐趋近于零， 从而保证目 标点在势场中为全局最小。 5.根据权利要求4所述的一种基于人体手臂运动信息预测的人机在线避 障方法， 其特 征在于， 根据斥力场获得的斥力， 斥力的表达式为： 权　利　要　求　书 1/3 页 2 CN 115502961 A 2其中， 分力 和 分别为： 其中， η表示斥力场正比例增益因子； q为机器人位置坐标； qobs为目标点的位置坐标； d(q,qgoal)表示障碍物与机器人当前位置之间的空间距离； d0表示障碍物斥力势场所影 响的最大距离； d(q,qgoal)表示机器人当前位置与目标点之间的空间距离； n表示斥力修正 因子。 6.根据权利要求1所述的一种基于人体手臂运动信息预测的人机在线避 障方法， 其特 征在于， 所述引力场的表达式如下： 根据引力场获得引力， 引力的表达式为： 其中， ε为引力势场正比例增益因子； m为引力势场因子； q为机器人位置坐标； qgoal为目 标点的位置坐标； d(q,qgoal)表示机器人当前位置与目标点之间的欧式距离 。 7.根据权利要求1所述的一种基于人体手臂运动信息预测的人机在线避 障方法， 其特 征在于， 所述将人体 手臂作为障碍物， 根据人体 手臂运动的预测信息获取斥力场， 包括： 以人体手臂关键点坐标为中心， 生成边界包围盒， 根据边界包围盒计算机器人和人体 手臂间的距离； 根据计算获得的距离获取斥力场， 以在人体手臂中形成高势能地区， 从而排斥机器人 往远离障碍物方向移动。 8.根据权利要求1所述的一种基于人体手臂运动信息预测的人机在线避 障方法， 其特 征在于， 所述 根据获得的末端位姿控制机器人运动， 包括： 判断机器人是否到达预设的目标点， 若机器人未到达目标点， 则重新获取斥力场和引 力场， 再进 行下一步长的运动规划； 若机器人到达目标点则结束程序， 从而完成机器人在线 避障规划。 9.一种基于人体 手臂运动信息预测的人机在线 避障系统， 其特 征在于， 包括： 运动信息获取模块， 用于获取人体手臂关键点坐标， 根据人体手臂关键点坐标获取人 体手臂运动信息； 手臂运动预测模块， 用于将获取的人体手臂运动信息输入LSTM ‑BP模型进行人体手臂 运动的预测， 其中LSTM ‑BP模型包括长短期记 忆神经网络和反向传播神经网络； 斥力场计算模块， 用于将人体手臂作为障碍物， 根据人体手臂运动的预测信息获取斥 力场； 引力场计算模块， 用于将机器人的移动终点作为目标点， 根据目标点获取引力场； 机器人控制模块， 用于根据斥力场和所述引力场获取机器人的末端位姿， 根据获得的 末端位姿控制机器人运动； 其中， 所述斥力场不仅与机器人和障碍物之间的距离有关， 还与机器人和目标点之间权　利　要　求　书 2/3 页 3 CN 115502961 A 3