(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210210401.4 (22)申请日 2022.03.04 (71)申请人 国网河北省电力有限公司石家庄供 电分公司 地址 050051 河北省石家庄市红旗大街6 6 号 申请人 国家电网有限公司 (72)发明人 王少博　王巍　贺鹏　李辉业　 王淇锋　徐刚　王鑫　刘保安　 韩楠　王杉杉　杜中华　穆文喆　 张涛　王彦红　邓光磊　 (74)专利代理 机构 石家庄新世纪专利商标事务 所有限公司 1310 0 专利代理师 齐兰君(51)Int.Cl. G06F 3/01(2006.01) H04N 13/194(2018.01) H04N 13/275(2018.01) G06V 10/44(2022.01) (54)发明名称 基于混合现实技术的视频通信方法、 终端及 存储介质 (57)摘要 本发明涉及远程通信技术领域， 尤其涉及一 种基于混合现实技术的视频通信方法、 终端及存 储介质， 本发明方法首先获取虚拟模型， 然后将 虚拟模型发送到对象终端， 接着再捕捉图像特 征、 声音特征 以及交互特征， 对图像特征进行提 取， 获得对象主体以及对象位置， 然后根据交互 特征进行提取， 获得操作命令， 将上述交互特征、 对象主体以及对象位置发送到对象终端， 由终端 根据对象主体以及虚拟模型进行图像叠加， 获得 图像的混合现实视频， 根据命令操纵虚拟模型， 使得虚拟模 型得以展示。 本发明向对象终端仅发 送一次虚拟模型， 因此， 减少数据的传输量， 且由 于具有虚拟模 型， 可以在对象终端一侧进行虚拟 模型的操作。 权利要求书2页 说明书8页 附图3页 CN 114661150 A 2022.06.24 CN 114661150 A 1.一种基于混合现实技 术的视频通信方法， 其特 征在于， 包括： 获取虚拟模型， 并发送所述虚拟模型， 所述虚拟模型为用于表征互动目标声像的模型； 获取对象的图像特 征、 声音特征以及交 互特征； 根据预设模板以及所述对象的图像特 征， 获取所述对象的主体以及所述对象的位置； 根据所述交 互特征， 获取操纵所述虚拟模型的命令； 发送所述声 音特征、 所述对象的主体、 所述对象的位置以及操纵所述虚拟模型的命令 。 2.根据权利要求1所述的基于混合现实技术的视频通信方法， 其特征在于， 所述预设模 板为颜色模板， 所述 根据预设模板， 获取 所述对象的主体， 包括： 根据所述对象的图像特 征， 获取所述对象的各像素点的颜色； 根据所述颜色模板以及所述对象的各像素点的颜色， 去 除所述对象的背景色， 获得所 述对象的主体。 3.根据权利要求1所述的基于混合现实技术的视频通信方法， 其特征在于， 所述虚拟模 型包括操纵所述虚拟模型 的动作映射， 所述根据所述交互特征， 获取操纵所述虚拟模型 的 命令， 包括： 根据所述交 互特征以及所述虚拟模型的动作映射， 获取操纵所述虚拟模型的命令 。 4.根据权利要求1所述的基于混合现实技术的视频通信方法， 其特征在于， 所述虚拟模 型包括以下至少之一： 三维立体模型、 图文以及音视频。 5.根据权利要求1所述的基于混合现实技术的视频通信方法， 其特征在于， 所述交互特 征包括以下至少之一： 眼动以及手势传感。 6.根据权利要求1 ‑5任一项所述的基于混合现实技术的视频通信方法， 其特征在于， 所 述基于混合现实技 术的视频通信方法还 包括图像再现步骤， 所述图像再现步骤 包括： 获取所述虚拟模型； 根据所述对象的位置、 所述对象的主体以及所述虚拟模型， 将所述对象的主体与所述 虚拟模型进行叠加， 生成视频图像； 根据所述操纵所述虚拟模型的命令， 更新所述虚拟模型的图像； 根据所述声 音特征以及所述虚拟模型进行叠加， 生成视频声 音。 7.一种基于混合现实技 术的视频通信装置， 其特 征在于， 包括： 模型获取模块， 用于获取虚拟模型， 并发送所述虚拟模型； 特征获取模块， 用于获取对象的图像特 征、 声音特征以及交 互特征； 主体提取模块， 用于根据预设模板以及所述对象的图像特征， 获取所述对象的主体以 及所述对象的位置； 命令生成模块， 用于根据所述交 互特征， 获取操纵所述虚拟模型的命令； 以及， 信息输出模块， 用于发送所述声音特征、 所述对象的主体、 所述对象的位置以及操纵所 述虚拟模型的命令 。 8.一种终端， 包括存储器、 处理器以及存储在所述存储器中并可在所述处理器上运行 的计算机程序， 其特征在于， 所述处理器执行所述计算机程序时实现如上的权利要求1至6 中任一项所述方法的步骤。 9.根据权利要求8所述的终端， 其特征在于， 所述终端还包括： 交互传感器， 所述交互传权　利　要　求　书 1/2 页 2 CN 114661150 A 2感器与所述处 理器电连接， 所述交 互传感器用于获取交 互特征。 10.一种计算机可读存储介质， 所述计算机可读存储介质存储有计算机程序， 其特征在 于， 所述计算机程序被处 理器执行时实现如上的权利要求1至 6中任一项所述方法的步骤。权　利　要　求　书 2/2 页 3 CN 114661150 A 3