(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202211108186.3 (22)申请日 2022.09.13 (71)申请人 武汉纺织大 学 地址 430073 湖北省武汉市洪山区纺织路1 号 (72)发明人 廖海斌　袁理　简子倪　 (74)专利代理 机构 武汉科皓知识产权代理事务 所(特殊普通 合伙) 42222 专利代理师 王琪 (51)Int.Cl. G06F 3/01(2006.01) G06V 40/10(2022.01) G06V 40/16(2022.01) G06V 40/20(2022.01) G06V 10/44(2022.01)G06V 10/764(2022.01) G06N 3/04(2006.01) G06N 3/08(2006.01) G06V 10/772(2022.01) (54)发明名称 一种智能交 互式媒体展示方法及系统 (57)摘要 本发明提供一种智能交互式媒体展示方法 及系统， 其中方法包括： 离线构建游客图片库； 利 用安装在媒体墙上的摄像头抓拍站在建筑媒体 墙前的人脸， 并利用人脸检测技术抓取出合格的 人脸图像， 然后， 利用人脸分析技术对提取的合 格人脸图像进行属性分析， 判断建筑媒体墙前的 人脸性别、 年龄和身份属性； 结合构建的游客图 片库， 根据人脸检测和分析的结果进行媒体墙智 能展示； 利用手势识别技术让用户与媒体墙进行 无接触交互， 包括暂停、 开始、 前翻、 后翻、 删除。 本发明创新性的将人脸识别、 手势识别技术应用 于建筑墙面， 智 能化的展示媒体墙内容， 并提供 无接触式交互方式， 使用户不但具有存在感、 惊 讶感， 还具有互动感和友好感。 权利要求书5页 说明书11页 附图1页 CN 115454243 A 2022.12.09 CN 115454243 A 1.一种智能交 互式媒体展示方法， 其特 征在于， 包括如下步骤： 步骤1， 离线构建游客图片库， 采集游客照片， 将对应的标准人脸图像作为每个游客的 身份标签， 并以此建立每 个游客的图像文件夹， 并对游客图片进行性别和年龄分类存 储； 步骤2， 利用安装在媒体墙上的摄像头抓拍站在建筑媒体墙前的人脸， 并利用人脸检测 技术抓取出合格的人脸图像， 然后， 利用人脸分析技术对提取的合格人脸图像进行属 性分 析， 判断建筑媒体 墙前的人脸 性别、 年龄和身份属性； 步骤3， 结合构建的游客图片库， 根据人脸检测和分析的结果进行媒体墙智能展示， 并 赋予每个展示的图片一个方便记 忆的编号； 步骤4， 利用手势识别技术让用户与媒体墙进行无接触交互， 包括暂停、 开始、 前翻、 后 翻、 删除。 2.如权利要求1所述的一种智能交互式媒体展示方法， 其特征在于： 步骤1的具体实现 方式如下： 步骤11， 在主题乐园或游乐场所入口处安装摄像头， 利用人脸检测模型采集一张标准 正面的人脸图像作为每 个游客的身份标签， 并以此建立每 个游客的图像文件夹； 步骤12， 利用摄 影师和场馆内的监控摄 像头采集每 个游客的游玩图片图像； 步骤13， 对采集的海量游玩图片， 按步骤11建立的身份标签分门别类存入相应的文件 夹， 建立游 客游玩图像库， 另外， 对采集的海量游玩图片进 行人脸的性别、 年龄识别， 然后按 性别和年龄分类存 储。 3.如权利要求2所述的一种智能交互式媒体展示方法， 其特征在于： 步骤11中人脸检测 模型的具体实现方式如下： 所述的人脸检测模型通过采用轻量化检测模型实现， 其网络结构包括主干网络 backbone、 多尺度网络FPN和检测头head三大部分， 首先对输入的视频图像利用主干网络进 行特征提取， 然后利用多尺度网络对主干网络提取 的特征进行多尺度融合， 最后对融合特 征利用检测头进行人脸检测与定位； 其中， 主干网络采用mob ilenetv3作为backb one， 多尺 度网络采用top ‑down结构， 检测头采用4个conv+bn结构， 分别输出位置中心点置信度 location， 检测框 长宽scale， 偏移of fset和人脸关键点po ints； 人脸检测模型损失函数和CenterNet一样， 由FocalLoss形 式Location分类损失和L1回 归损失构成， 其中， L ocation分类损失函数为： 式中Yxyc为真实的中心点类别， 非 1即0值， 为预测的置信度， α, β 为常数； Scale损失函数为： 其中， sk为真实的目标框 长宽尺度， 为预测的目标框 长宽尺度， N 为训练样本数量； Offset损失函数为：权　利　要　求　书 1/5 页 2 CN 115454243 A 2其中， 为预测的偏移值， (xk,yk)为中心点坐标， smoothL1 (·)表示平滑L1回归； Points损失函数为： 其中， 为关键点到中心点之间的距离差， 为预测的关 键点到中心点之间的距离差， (cx,cy)为中心点坐标， (px,py)为人脸关键点坐标， (boxw, boxh)为人脸检测框的长 宽； 最终损失函数为： L＝Llocation+λ1Lscale+λ2Loffset+λ3Lpoints。 4.如权利要求2所述的一种智能交互式媒体展示方法， 其特征在于： 步骤13 中采用多任 务神经网络 MDCNN的方法进行 人脸性别和年龄同时识别， 其网络模型设计如下： 假设使用N个训练样本去学习T＝2个任务， 用 表示第t∈{1,…,T}个任务中第i∈ {1,…,N}个样本和其对应的任务标签， 则MDCN N学习的目标为： 其中， f(xi, θ )表示深度网络函数， θ为需要求解的网络参数， lt(·)表示不同任务的损 失函数， Φ( θ )为 正则惩罚项； 对于性别识别问题， 由于其是二分类问题， 因此， 其损失函数直接采用softmax  loss： lG ＝‑(1‑g)·log(1‑p0)‑g·log(p1)， 其中g＝0或1表示为男或女， (p0,p1)代表各自性别的概 率； 对于人脸 年龄识别问题， 由于是多分类问题， 因此损失函数centerl oss： 其中， xk表示一个mini_bach中第k个样本的深度 学习特征， yk表示它对应的类别； cyk表 示yk类的深度学习特征中心， W,b分别表示最后全连接层中的权值与偏置参数； m,n分别表 示mini‑batch和类别的大小， λ为平衡因子； 因此， 最终的多任务联合损失函数为： lossfull＝β1lG+β2lA 其中， β1和β2为平衡因子 。 5.如权利要求1所述的一种智能交互式媒体展示方法， 其特征在于： 步骤2 的具体实现 方式如下： 人脸分析技术采用基于终身学习的多任务学习网络实现， 为了进行知识迁移和避免灾 难性遗忘， 对每个任务， 在训练完成该任务之后， 计算网络中每个参数对于该任务的重要性权　利　要　求　书 2/5 页 3 CN 115454243 A 3