(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210884242.6 (22)申请日 2022.07.26 (71)申请人 兰州大学 地址 730000 甘肃省兰州市城关区天水南 路222号 (72)发明人 赵鹏　黄笑　王龙彬　黄奕棋　 樊萱　任丰原　 (74)专利代理 机构 西安合创非凡知识产权代理 事务所(普通 合伙) 61248 专利代理师 高志永 (51)Int.Cl. B25J 9/16(2006.01) G06T 7/70(2017.01) G06V 40/10(2022.01) G06V 40/16(2022.01) (54)发明名称 一种辅助进 食机械臂交互系统及方法 (57)摘要 本发明公开了一种辅助进食机械臂交互系 统及方法， 其中的一种辅助进食机械臂交互系 统， 包括PC机、 第二摄像头、 第一摄像头、 机械臂、 机器人、 目标食物及交互屏幕； 所述第一摄像头 安装在机械臂末端， 用于采集食物图像， 并电性 连接PC机； 第二摄像头安装在用户正前方， 用于 采集用户人脸图像， 并电性连接PC机； 交互屏幕 安装在用户正前方， 用于显示食物图像， 并提示 用户当前选择目标食物。 本发明对于手部活动不 便的人群， 可 以轻松获取用户的进食需求， 并对 食物进行分类、 识别、 定位和跟踪， 达到了用户只 需要面部姿态变化就能对辅助进食机械臂进行 操控的水平， 为辅助进食机械臂的交互控制等方 面提供技术支撑。 权利要求书3页 说明书7页 附图2页 CN 115107037 A 2022.09.27 CN 115107037 A 1.一种辅助进食机械臂交互系统， 其特征在于， 包括PC机 （1） 、 第二摄像头 （2） 、 第一摄 像头 （3） 、 机械臂 （4） 、 机器人 （5） 、 目标食物 （6） 及交互屏幕 （7） ； 所述第一摄像头 （3） 安装在 机械臂 （4） 末端， 用于采集食物图像， 并电性连接PC机 （1） ； 第二摄像头 （2） 安装在用户正前 方， 用于采集用户人脸图像， 并电性连接PC机 （1） ； 交互屏幕 （7） 安装在用户正前方， 用于显 示食物图像， 并提 示用户当前选择目标食物 （6） 。 2.一种辅助进食机 械臂交互方法， 其特 征在于， 包括： 步骤S1、 PC通过摄 像头获取食物图像； 步骤S2、 PC端对 食物图像进行识别、 定位和跟踪并将结果同步显示在交 互屏幕上； 步骤S3、 PC通过摄 像头获取用户人脸图像； 步骤S4、 通过 人脸图像完成用户人脸姿态检测； 步骤S5、 通过步骤S4的检测结果获取相应的用户意图， 并通过用户意 图指导机械臂做 出相应的行动。 3.根据权利要求2所述的辅助进食机 械臂交互方法， 其特 征在于， 所述步骤S2包括: 步骤S21、 食物实时检测， 该步骤将会把画面中所有食物识别出来， 并用绿色的框把食 物框选出来， 并标注了食物类型， 用于提 示用户有哪些食物可以选择； 步骤S22、 食物实时跟踪， 该步骤将会给每个食物分配一个唯一的ID， 用于跟踪每个食 物， 并预选出一个目标食物， 并用红色的框把目标食物框选出来， 用于提示用户当前选择的 食物是哪一个； 步骤S23、 处理完食物图像后， 把结果同步展示在交互屏幕上， 用户可以通过屏幕获取 食物信息 。 4.根据权利要求2所述的辅助进食机 械臂交互方法， 其特 征在于， 所述步骤S4包括: 步骤S41、 系统运行 过程中， 持续得对用户进行 人脸检测， 并进行 人脸关键点的提取； 步骤S42、 将每20帧组合成一个动作组合； 步骤S43、 对组合内每一帧进行姿态的检测； 步骤S44、 对步骤S43的结果进行计数， 计数最高的姿态作为 最终结果。 5.根据权利要求 4所述的辅助进食机 械臂交互方法， 其特 征在于， 所述步骤S41包括: 系统运行后， 对用户进行持续的人脸检测， 并提取面部关键点； 使用Opencv内置DNN模 块的人脸检测器， 先对输入的图像或视频的大小进行调整， 并对图像  RGB 通道值进行一个 减法操作， 根据先验知识， 这个大小为  300×300， 被减的 RGB 数值为(104,17 7,123)； 该模型的最终输出为一个数组， 其中包含了检测置信度以及检测得到的人脸锚定框坐 标， 当检测置信度大于预设的阈值时， 锚定 框坐标将被提取和绘制； 算法在得到可信的用户面部后， 将对检测得到的面部 图形进行关键点检测， 得到的检 测结果按照网络层输出格式为一个  1  × 136 的数组， 根据坐标形式变换为  2  × 68 的 矩阵， 即分别对应于用户面部  68 个关键点 坐标， 以该矩阵作为 最终的面部关键点输出。 6.根据权利要求 4所述的辅助进食机 械臂交互方法， 其特 征在于， 所述步骤S42包括:权　利　要　求　书 1/3 页 2 CN 115107037 A 2按照摄像头成像的帧率以及目标用户做出动作的大致时间， 设定一个组合数值， 将输 入的图像帧按照此 数值进行多帧的组合。 7.根据权利要求 4所述的辅助进食机 械臂交互方法， 其特 征在于， 所述步骤S43包括: 多帧组合后， 算法对与组合内的每一帧分别执行点头、 摇头以及张嘴姿态的判断； 首先 对于输入的每一帧用户面部图像， 识别图像中的人脸区域， 并依据仿射关系对齐人脸， 将对 应区域范围以及标注的  68 个关键点 坐标存储为矩阵并记作  ϑ； 对于人脸区域 中坐标点  (x,y)， 使用一个  2×2 矩阵 A 来调整横纵坐标的数值， 从而 达到坐标之间的二维线性变换； 增加一个维度， 构造仿射关系的齐次矩阵形式； 人脸区域的仿射变换的齐次坐标矩阵 形式为： 将矩阵转换为  numpy 的数组类型， 并依据前验知识计算鼻 尖位置坐标， 近似为图像中心点， 记作  F； 在得到每一帧图像的面部关键点和鼻尖位置坐标后， 对相邻  ϕ 帧内的每一帧的面部 关键点进行计算； 点头摇头姿态的计算过程如下公式所示： 其中, 其中  表示在输入的第  n 帧图像中， 用户面部的鼻尖位置的坐标向量； 同理， 则表示在第  n 帧图像经 过 ϕ 帧后， 用户面部的鼻尖位置的坐标向量； 二者的差值求曼哈顿距离， 对这个数据进行正则化； 通过计算得到的比值与阈值进行 比较， 来进行定量比较； 公式中的  a 表示为一个常量， 将选取帧的长度或宽度替换这个常 量， 作为分母； 嘴部开合姿态的计算公式如下： 其中， a 和 b 分别表示用户上下嘴唇的两个关键点的坐标向量；   和   则分别表 示用户上下嘴唇的另外两个关键点的坐标向量， 这两个 关键点与  a 和 b 向量关于人脸中 心线呈近似轴对称关系；  x 和 y 则分别表示嘴部边 缘两个关键点的坐标向量。 8.根据权利要求1所述的辅助进食机 械臂交互方法， 其特 征在于， 所述步骤S5包括: 将用户姿态进行意图映射， 姿态和用户意图的映射关系如下： 点头对应的是确认选择权　利　要　求　书 2/3 页 3 CN 115107037 A 3