(19)国家知识产权局 (12)发明 专利申请 (10)申请公布号 (43)申请公布日 (21)申请 号 202210240444.7 (22)申请日 2022.03.10 (71)申请人 浙江大学 地址 310012 浙江省杭州市西湖区浙大路 38号浙江大学玉泉校区 (72)发明人 周泓　高思敏　解颉　 (74)专利代理 机构 杭州裕阳联合专利代理有限 公司 33289 专利代理师 高明翠 (51)Int.Cl. G06V 40/20(2022.01) G06V 40/16(2022.01) G06V 10/26(2022.01) G06V 10/44(2022.01) G06Q 10/06(2012.01)G06Q 50/20(2012.01) (54)发明名称 基于图像分析的高校课 堂氛围评价系统 (57)摘要 本发明公开了一种基于图像分析的高校课 堂氛围评价系统， 包含： 第一摄像头， 用于采集线 下课堂图像； 第二摄像头， 用于采集线上课堂图 像； 边缘服务器， 用于接收第一摄像头采集到的 线下课堂图像和第二摄像头采集到的线上课堂 图像并对其进行处理和分析； 边缘服务器包含： 图像预处理单元， 用于对接收到的线下课堂图像 和线上课堂图像进行预处理； 图像检测分析单 元， 用于对 预处理后的线下课堂图像和线上课堂 图像进行分析得到学生的参与度与专注度。 本发 明的基于图像 分析的高校课堂氛围评价系统， 兼 顾线上线下课堂场景， 从学生参与度与专注度两 大外显性指标入手， 实时、 客观地监控与反映课 堂教学氛围的情况， 为高校课堂评价的内源性发 展提供了依据。 权利要求书2页 说明书5页 附图2页 CN 114743260 A 2022.07.12 CN 114743260 A 1.一种基于图像分析的高校课 堂氛围评价系统， 其特 征在于， 包 含： 第一摄像头， 用于采集线下课 堂图像； 第二摄像头， 用于采集线上课 堂图像； 边缘服务器， 用于接收所述第 一摄像头采集到的所述线下课堂图像和所述第 二摄像头 采集到的线上课 堂图像并对其进行处 理和分析； 所述边缘服务器包含： 图像预处理单元， 用于对接收到的所述线下课堂图像和所述线上课堂图像进行预处 理； 图像检测分析单元， 用于对预处理后的所述线下课堂图像和所述线上课堂图像进行分 析得到学生的参与度与专 注度。 2.根据权利要求1所述的基于图像分析的高校课 堂氛围评价系统， 其特 征在于， 所述图像预处 理单元包含： 第一预处 理模块， 用于对所述线下课 堂图像进行分割。 3.根据权利要求2所述的基于图像分析的高校课 堂氛围评价系统， 其特 征在于， 所述线下课堂图像的尺寸为16： 9， 所述第一预处理模块对所述线下课堂图像使用纵向 3*2n‑1‑1条分割线， 横向2n‑1条分割线 进行等间隔分块； 通过所述横向分割线对所述线下课堂图像进行分割后， 在提取每一个单独的小图像 时， 实际截取的小图像在纵向和横向方向上均超出 所述分割线的实际分割范围。 4.根据权利要求3所述的基于图像分析的高校课 堂氛围评价系统， 其特 征在于， 所述图像预处 理单元还包含： 第二预处 理模块， 用于对所述线上课 堂图像进行处 理提取出其中的人脸区域。 5.根据权利要求 4所述的基于图像分析的高校课 堂氛围评价系统， 其特 征在于， 所述第二预处 理模块首 先将所述线上课 堂图像转换为灰度图； 然后对灰度化后的所述线上课 堂图像进行二 值化； 在对二值化后的所述线上课堂图像进行轮廓提取并对提取到的轮廓生成最小外接矩 形框； 对这些外 接矩形框进行筛 选保留矩形边相对于水平面近似平行或垂直的外 接矩形框； 将这些外 接矩形框从原 始的所述线上课 堂图像中裁 剪出来； 通过人脸检测获取裁 剪出的外 接矩形框中的图像的人脸区域并提取 出来； 调节提取 出的人脸图片的尺寸。 6.根据权利要求5所述的基于图像分析的高校课 堂氛围评价系统， 其特 征在于， 所述图像 检测分析 单元包含： 第一检测模块， 用于通过SSD目标检测网络对所述第一预处理模块分割后的图像进行 检测识别出 学生的头 部姿态， 并以此计算出 学生的参与度和专 注度。 7.根据权利要求6所述的基于图像分析的高校课 堂氛围评价系统， 其特 征在于， 所述图像 检测分析 单元还包含： 热力图生成模块， 用于根据 所述第一检测模块检测出的学生的参与度和 专注度智能生 成线下课 堂氛围热力图。 8.根据权利要求7 所述的基于图像分析的高校课 堂氛围评价系统， 其特 征在于，权　利　要　求　书 1/2 页 2 CN 114743260 A 2所述图像 检测分析 单元还包含： 第二检测模块， 用于通过人脸关键点检测算法对所述第 二预处理模块提取出的人脸图 片进行人脸关键点检测， 根据检测到的人脸关键点， 利用相机参数、 三 维空间人脸关键点坐 标位置和与之一一对应的图像平面人脸关键点坐标位置， 通过N点透视求解的方法解出二 维坐标点映射到三维模型时的变换矩阵， 进而获得人脸三维欧拉角度， 并根据获得 的人脸 三维欧拉角度对人脸图像中的人脸进行三维旋转。 9.根据权利要求8所述的基于图像分析的高校课 堂氛围评价系统， 其特 征在于， 所述第二检测模块从提取 出的人脸图片中提取 出9个人脸关键点。 10.根据权利要求1所述的基于图像分析的高校课 堂氛围评价系统， 其特 征在于， 所述边缘服务器还包含： 数据存储单元， 用于保存所述图像 检测分析 单元的分析 结果。权　利　要　求　书 2/2 页 3 CN 114743260 A 3