(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210884211.0 (22)申请日 2022.07.26 (71)申请人 北京新方通信技 术有限公司 地址 100082 北京市海淀区文慧园北路8号 南北楼A座601号 申请人 北京邮电大 学 (72)发明人 乔秀全　孙譞　李鹏　黄亚坤　 商彦磊　 (74)专利代理 机构 北京纽乐康知识产权代理事 务所(普通 合伙) 11210 专利代理师 秦月贞 (51)Int.Cl. H04N 7/18(2006.01) H04L 65/65(2022.01) H04L 67/02(2022.01)H04L 69/08(2022.01) H04N 5/272(2006.01) G06T 7/194(2017.01) (54)发明名称 一种支持实时背景替换的居家办公视频监 控方法及系统 (57)摘要 本发明公开了一种支持实时背景替换的居 家办公视频监控方法及系统， 其方法步骤如下： 客户端用户通过电脑登录推流客户端程序， 登录 成功后客户端用户工作状态由离线更新为在线； 客户端用户点击工作按钮， 监控模块会向客户端 用户申请摄像头权限， 客户端用户授权摄像头权 限后， 监控模块会实时采集客户端用户的摄像头 视频流。 本发明能够采集、 处理和分析多个监控 视频流， 对视频中的人员进行实时前景分割以及 背景替换， 并且对当前所有监控进行信息汇总与 可视化， 能够实时提供员工的监控信息和考勤数 据， 解决了员工居家办公时监管困难的问题， 同 时确保了监控内容的实时性、 隐私性和安全性， 对公司居家办公考勤管理有很大的帮助。 权利要求书2页 说明书7页 附图3页 CN 115209111 A 2022.10.18 CN 115209111 A 1.一种支持实时背景替换的居家办公视频监控方法， 其特 征在于， 包括如下步骤： S1客户端用户通过电脑登录推流客户端程序， 登录成功后 客户端用户工作状态由离线 更新为在线； S2客户端用户点击工作按钮， 监控模块会向客户端用户申请摄像头权限， 客户端用户 授权摄像头权限后， 监控模块会实时采集客户端用户的摄像头视频流， 与此同时客户端用 户工作状态由在线修改为工作中； S3监控模块对采集的实时视频流进行编码、 封装打包处理， 将视频帧数据送至算法模 块； S4 算法模块对视频帧实时处 理并返回给监控 模块； S5 监控模块将处 理结果使用RTMP协议推送到流 媒体服务器； S6 流媒体服务器进行协议转换， 将RTMP协议转为WebRTC协议， 并向监控平台提供Web 页面拉流能力， 同时将处 理后的实时视频流录制持久化到数据库； S7 系统可视化模块获得数据， 将结果渲染到UI界面， 向监管人员实时展示当前监控情 况。 2.根据权利要求1所述的支持实时背景替换的居家办公视频监控方法， 其特征在于， S4 中的算法模块包括预处 理、 前景分割、 图像融合， 其具体步骤如下： S41 将采集设备捕获的实时视频流进行编解码预处 理； S42 对缓存的视频帧进行 前景分割， 得到人物掩膜及前 景图像； S43 将人物前 景与预设的背景图像进行图像融合， 得到进行背景替换后的视频帧； S44 将背景替换后的视频帧进行封装、 打包、 传输 。 3.根据权利要求2所述的支持实时背景替换的居家办公视频监控方法， 其特征在于， 所 述算法模块采用轻量化网络以及模型压缩技巧降低计算复杂度确保在计算资源不足下正 常工作。 4.根据权利要求1所述的支持实时背景替换的居家办公视频监控方法， 其特征在于， S7 中的所述数据包括 客户端用户的视频流信息、 基本信息、 考勤信息和统计信息 。 5.一种支持实时背景替换的居家办公视频监控系统， 其特征在于， 包括： 推流客户端、 流媒体服务器、 数据库和监控平台端， 所述推流客户端包括登录模块、 监控模块和算法模 块， 所述数据库包括数据持久化模块， 所述 监控平台包括 业务处理模块和系统可视化模块； 所述登录模块， 用于负责客户端用户登录客户端程序； 所述监控模块， 用于采集客户端用户电脑摄像头视频， 实时获取视频流的最新帧图像， 发送至算法模块进以对视频帧进行背景替换处理， 同时将相关参数存储至数据持久化模 块； 所述算法模块： 用于从监控模块中获取实时视频帧， 对实时视频帧进行图像预处理后 送入语义分割网络算法中进行实时分割， 并将分割结果与预提供的背 景图融合绘制到最新 帧图像上； 所述流媒体服务器， 用于负责接收算法模块处理后的视频流， 并将流媒体协议由RTMP 转码为WebRTC， 向监控平台提供Web页面拉流能力， 同时将处理后的实时视频流录制持久化 至数据库； 所述数据持久化模块， 用于存储客户端用户电脑摄像头采集并经算法处理后的视频流权　利　要　求　书 1/2 页 2 CN 115209111 A 2数据， 为监控平台提供 数据支持， 同时为后续的监控视频回放 提供支撑； 所述业务处理模块， 用于实现监控平台用户功能需求， 将底层业务逻辑封装为API接口 函数供可视化模块调用； 所述系统可视化模块， 用于向业务处理模块请求客户端用户的相关信息， 拉取算法模 块处理后的结果视频流展示到前端， 向监管人员实时展示被客户端用户的当前行为状态， 同时向业 务处理模块请求 客户端用户工作状态统计信息并进行排行展示。 6.根据权利要求1所述的支持实时背景替换的居家办公视频监控系统， 其特征在于， 所 述算法模块包括实时背景替换算法模型。 7.根据权利要求1所述的支持实时背景替换的居家办公视频监控系统， 其特征在于， 所 述数据持久化模块采用文件系统存 储视频流数据， 采用MySQ L数据库存 储结构化数据。 8.根据权利要求1所述的支持实时背景替换的居家办公视频监控系统， 其特征在于， 所 述业务处理模块的功 能包括账号管理功 能、 数据整合统计、 工作状态切换功 能及条件检索 功能。 9.根据权利要求1所述的支持实时背景替换的居家办公视频监控系统， 其特征在于， 所 述底层业 务逻辑包括图像算法处 理的视频流和已有数据的获取 方式。权　利　要　求　书 2/2 页 3 CN 115209111 A 3