(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210737033.9 (22)申请日 2022.06.27 (71)申请人 中国科学技术大学 地址 230041 安徽省合肥市金寨路96号 (72)发明人 李智军　宋扬　李国欣　 (74)专利代理 机构 上海段和段律师事务所 31334 专利代理师 李源 (51)Int.Cl. B25J 11/00(2006.01) B25J 9/16(2006.01) B25J 18/00(2006.01) B25J 19/02(2006.01) (54)发明名称 在复杂受限环境下基于多模态融合的机器 人及运行方法 (57)摘要 本发明提供了一种在复杂受限环境下基于 多模态融合的机器人及运行方法， 包括机器人本 体、 多重触觉传感器、 无线 通信模块、 人机交互界 面、 控制器； 所述控制器根据所述深度相机系统 获取的环 境信息、 所述无线通信模块与人工交互 界面的通信信息、 以及所述多重触觉传感器的数 据反馈， 通过运动控制系统算法生成机器人的运 动方程， 并发送信号给各个关节的舵机和伺服电 机， 来控制机器人各个关节协调运动。 本发明基 于多模态融合的轮式人形机器人采用仿人体设 计， 具有较高的智能化， 具有精确度高、 双机械臂 可同时工作以及可以模拟人的行为去完成在复 杂受限环境下对物体进行作业。 权利要求书4页 说明书9页 附图4页 CN 115319764 A 2022.11.11 CN 115319764 A 1.一种在复杂受限环境下基于多模态融合的机器人， 其特征在于， 包括机器人本体、 多 重触觉传感器、 无线通信模块、 人机交 互界面、 控制器； 所述机器人本体的头 部设置有深度相机系统； 所述机器人本体的机械手处设置有多重触觉传感器； 所述多重传感器用于机器人对物 体作业时通过 数据反馈， 来调整作业施加力度和作业 位置； 所述人机交 互界面用于帮助机器人指定目标物体， 并对机器人 下达作业指令； 所述无线通信模块用于所述人机交 互界面与机器人进行通信； 所述控制器包括 运动控制系统算法； 所述控制器根据 所述深度相机系统获取的环境信 息、 所述无线通信模块与 人工交互界 面的通信信息、 以及所述多重触觉传感器的数据反馈， 通过所述运动控制系统算法生成机 器人的运动方程， 并发送信号给各个关节的舵机和伺服电机， 来控制 机器人各个关节协调 运动。 2.根据权利要求1所述的在复杂受限环境下基于多模态融合的机器人， 其特征在于， 所 述运动控制系统算法包括基于阻抗控制的机器人的动态全身移动 操作算法、 基于深度强化 学习的机 械臂控制算法、 目标识别与定位 算法、 多模态信息处 理和分类算法。 3.根据权利要求1所述的在复杂受限环境下基于多模态融合的机器人， 其特征在于， 所 述机器人包括驱动结构、 操作机构； 所述驱动结构包括实现机器人位置移动的移动底盘； 所述操作机构包括机械臂构型， 所述机械臂构型至少包含肩关节、 肘关节、 手关节、 腕 关节、 指关节； 当所述驱动结构 驱动机器人运动到指定作业地点 时， 所述操作机构在所述控制器下完 成机器人 各个关节的协调运动。 4.根据权利要求1所述的在复杂受限环境下基于多模态融合的机器人， 其特征在于， 所 述多重触觉传感器至少具有接触压力、 导热率、 物体温度及环境温度四重触觉传感； 所述机器人在每个机械手安装了N个多重触觉传感器的阵列， N不少于30， 其中每个指 关节至少安装5个多重触觉传感器； 所述多重触觉传感器阵列的输出为 N×m矩阵； 其中， N为阵列中多重触觉传感器 个数， m为传感器能够检测的种类， 并且m不少于4。 5.根据权利要求1所述的在复杂受限环境下基于多模态融合的机器人， 其特征在于， 所 述基于阻抗控制的机器人的动态全身移动操作算法使机器人能够实现任务的同时利用自 身结构和环境， 自主处 理物理限制和避碰问题。 6.根据权利要求1所述的在复杂受限环境下基于多模态融合的机器人， 其特征在于， 所 述底盘路径规划 算法是目标物体坐标、 机器人实际目标坐标两者转化后， 判定机器人与目 标物体的距离是否小于阈值， 根据机器人与目标物体的距离坐标， 通过运动学求解方程， 输 出机器人移动路径所需的速度、 加速度、 转动角度和运动时间； 所述运动学求 解方程为：权　利　要　求　书 1/4 页 2 CN 115319764 A 2其中(x， y， z)表示机器 人在世界坐标系需要移动的距 离， v1， v2， v3…vn代表n个腿轮子需 要的速度， a1， a2， a3…an代表n个腿轮子的需要的加速度， θ1， θ2， θ3…θn表示n个腿轮子期望的 转动角度， t1， t2， t3…tn表示n个腿轮子运动时间； K， P， T为转换矩阵； v1‑begin， v2‑begin， v3‑begin…vn‑begin代表n个腿轮子初 始的速度， a1‑begin， a2‑begin， a3‑begin…an‑begin代表n个腿轮子 的初始的加速度， θ1‑begin， θ2‑begin， θ3‑begin…θn‑begin表示n个腿轮子初始的转动角度； 目标物体坐标、 机器人实际目标坐标两者转化： 目标物体坐标为(xd， yd， zd)， 其中(xd， yd)代表目标物体在世界坐 标系下的水平面坐标， zd表示目标物体相对于机器人头部中心点 位置高度； (xn， yn， zn)表示机器人实际目标， (xn， yn)代表机器人实际目标在世界坐 标系下的 水平面坐标， zn表示机器人实际目标相对于 机器人头 部中心点 位置高度； 两者 转化关系为： |(xd， yd， zd)‑(xn， yn， zn)‑(x， y， z)|≤(xmax， ymax， zmax) |(xd， yd， zd)‑(xn， yn， zn)‑(x， y， z)|≥(xmin， ymin， zmin) (x， y， z)表示机器人在世界坐标系需要移动的距离， (xmax， ymax， zmax)表示机器人在世界 坐标系距离目标的最大阈值距离； (xmin， ymin， zmin)表示机器人在世界坐标系距离目标的最 小阈值距离 。 7.根据权利要求1所述的在复杂受限环境下基于多模态融合的机器人， 其特征在于， 所 述目标识别与定位算法基于YOLOV4网络， 输入为深度相机系统的视频流图像， 输出为预测 框的中心坐标和宽高值、 预测框置信度以及八十个类别得分组成的张量； 将获得的预测框 作为输入HED边缘检测网络输出物体边缘点在图像中坐标； HED边缘检测网络是将五组卷积 的特征提取网络的每一层的最后一个卷积层的输出出来， 通过转置卷积进行结合； 最后将 HED边缘检测网络输出的坐标与深度图结合输出目标物体的边缘点的三维坐标， 获得物体 的位姿。 8.根据权利要求1所述的在复杂受限环境下基于多模态融合的机器人， 其特征在于， 所 述基于深度强化学习的机械臂控制算法： 在完成初始化算法权重和加载算法训练权重后， 机械臂根据传感器返回的关节坐标位置 以及机械臂关节角度状态、 目标物体坐标进行决 策， 输出机械臂各关节角的预测控制量， 并根据机械臂运动执行动作之后的环境状态进行 下一步决策； 通过不断试错学习， 使网络参数向使机械臂更快学习到精确接近目标 的方向 接近， 直到机械臂可以根据环境状态准确输出接近目标物体的策略或奖励波动趋于稳定时 终止训练， 输出 结果。 9.根据权利要求1所述的在复杂受限环境下基于多模态融合的机器人， 其特征在于， 所 述多模态信息处理和分类算法： 将多重触觉传感器阵列 的输出信号经过去除误差较大信 息、 维度处理和标准化后， 生 成关于物体的4种多重触觉传感器检测的N ×4的信号矩阵， N表 示阵列中多重触觉传感器数目， 其中4种多重触觉传感器检测信号为： 导热率、 接触压力、 物 体温度、 环 境温度； 并按照时序信号导入LSTM神经网络进 行训练以及测试， 用来判断抓取物 体的种类信息； 所述LSTM神经网络包 含输入门、 遗 忘门、 输出门及候选记 忆细胞、 记 忆细胞组件。权　利　要　求　书 2/4 页 3 CN 115319764 A 3