(19)国家知识产权局 (12)发明 专利 (10)授权公告 号 (45)授权公告日 (21)申请 号 20221026713 0.6 (22)申请日 2022.03.18 (65)同一申请的已公布的文献号 申请公布号 CN 114360043 A (43)申请公布日 2022.04.15 (73)专利权人 南昌虚拟现实研究院股份有限公 司 地址 330000 江西省南昌市红谷滩新区会 展路545号红谷城投大厦1408室 (72)发明人 郭岩松　孙其民　付阳　沈忱　 (74)专利代理 机构 北京清亦华知识产权代理事 务所(普通 合伙) 11201 专利代理师 何世磊 (51)Int.Cl. G06V 40/18(2022.01) G06T 7/80(2017.01)G06T 7/70(2017.01) G06F 17/11(2006.01) G06V 10/44(2022.01) (56)对比文件 CN 110263745 A,2019.09.20 CN 101901485 A,2010.12.01 CN 108968907 A,2018.12.1 1 CN 102520796 A,2012.0 6.27 JP 2003079577 A,2003.03.18 刘冬.基于立体视觉的视线 估计方法研究. 《中国优秀硕士学位 论文》 .2017,第2017年卷(第 5期), Arantxa Vi llanueva等.A N ovel Gaze Estimati on System W ith One Cal ibration Point. 《IEEE Transacti ons on System s》 .2008, 审查员 李雯雯 (54)发明名称 模型参数标定方法、 视线追踪方法、 装置、 介 质及设备 (57)摘要 一种模型参数标定方法、 视线追踪方法、 装 置、 介质及设备， 该模型参数标定方法， 包括： 分 别获取用户注视屏幕上的各个预设注视点时拍 摄的图像， 以得到各个预设注视点对应的人眼图 像； 对当前预设注视点对应的人眼图像中的瞳孔 投影进行轮廓点检测， 得到瞳孔轮廓点集合； 对 瞳孔轮廓点集合进行角膜折射校正， 并根据校正 后的瞳孔轮廓点集合 以及眼球模型确定用户的 视线与所述屏幕的交点； 计算述交点的位置与当 前预设注视点的真实位置 之间距离， 并以眼球模 型中的各个未知参数为变量， 以距离为目标函数 建立当前预设注视点对应的非线性方程； 对所有 预设注视点对应的非线性方程形成的方程组进 行求解。 该方法方便模型参数标定， 得到更为精 确的视线方向。 权利要求书4页 说明书13页 附图3页 CN 114360043 B 2022.06.17 CN 114360043 B 1.一种模型参数 标定方法， 其特 征在于， 包括： 分别获取用户注视屏幕上的各个预设注视点 时拍摄的图像， 以得到各个所述预设注视 点对应的人眼 图像， 所述预设注视点的数量 根据眼球模型中未知参数的数量 来设置； 对当前预设注视点对应的人眼图像中的瞳孔投影进行轮廓 点检测， 得到瞳孔轮廓 点集 合； 对所述瞳孔轮廓 点集合进行角膜折射校正， 并根据校正后的瞳孔轮廓 点集合以及所述 眼球模型确定所述用户的视线与所述屏幕的交点； 计算所述交点的位置与所述当前预设注视点的真实位置之间距离， 并以所述眼球模型 中的各个未知参数为变量， 以所述距离为目标函数建立所述当前预设注视点对应的非线性 方程； 获取每个所述预设注视点对应的非线性方程， 并对各个所述预设注视点对应的非线性 方程形成的方程组进行求 解， 以得到所述眼球模型中的各个未知参数的值； 所述对所述瞳孔轮廓点 集合进行角膜折 射校正的步骤 包括： 根据所述瞳孔轮廓点集合中的各个轮廓点分别通过相机中心射出的射线与所述眼球 模型的相交情况， 建立关于瞳孔轮廓点的第一优化 函数； 根据所述第 一优化函数， 以及瞳孔轮廓 点拟合的椭圆中心坐标建立关于瞳孔中心的第 二优化函数； 所述第一优化 函数为： ； 所述第二优化 函数为： ； 其中， case  I为射线与角膜有交点， 根据折射定律， 在角膜表 面 处的法向量 、 射线 方向 、 折射光线向量 是共面的， 即 ， 对应的折射光参数方程为： ， t2表示方程参数， ， 表示实数集， case I情况下， 定义 ， 表示折射光线与瞳孔平面的交点； case II为射线与眼球有交点， 且与角膜无交点， 此时定义 ； case III为射线与眼球和角膜都没有交点， 此时选取射线 参数t0， 使射线与眼球球心的 距离最小， 定义 ； 式中， i表示人眼图像的帧数， j表示瞳孔轮廓点集合中第j个轮廓点， E为眼球球心的位权　利　要　求　书 1/4 页 2 CN 114360043 B 2置坐标， ri表示瞳孔半径， 表示瞳孔中心的坐标， 是一个正数， 表示第i个瞳孔的第 j个瞳孔图像轮廓点， 表示瞳孔图像轮廓点对应的相机光线与眼球模型的交点， 为范数符号， 表示向量的内积， 表示射线与角膜表面的交点， 表示瞳孔轮廓点拟 合 的椭圆中心， 表示由 计算的瞳孔中心坐标， n为角膜折射率， 为空气折射率， 表示关于模型状态的优化函数， 表示第1至第N帧 图像中的眼球模型状态， λ为拉格朗日乘子 。 2.如权利要求1所述的模型参数标定方法， 其特征在于， 所述根据校正后的瞳孔轮廓 点 集合以及所述眼球模型确定所述用户的视线与所述屏幕的交点的步骤 包括： 根据校正后的瞳孔轮廓点集合进行椭圆拟合， 并根据拟合的椭圆计算瞳孔的法向， 以 得到相机坐标系下的光轴方向； 计算相机坐标系下的光轴方向在对应的人眼 图像上的二维投影向量； 根据至少两帧人眼 图像的二维投影向量的交点， 确定眼球 球心的投影； 根据所述眼球球心 的投影、 所述眼球球心 的位置坐标， 以及瞳孔眼球距离确定相机坐 标系下瞳孔中心的坐标， 所述瞳孔眼球距离为瞳孔中心与眼球 球心之间的距离； 将相机坐标系下的瞳孔中心的坐标转换到世界坐标系； 将相机坐标系下的光轴方向转换到世界坐标系， 并根据视轴光轴夹角将转换为世界坐 标系下的光轴方向修正为世界坐标系下的视轴方向， 所述视轴光轴夹角为眼睛的视轴与光 轴的夹角； 根据转换得到的世界坐标系下的瞳孔中心 的坐标以及转换得到的世界坐标系下的视 轴方向确定所述用户的视线， 并计算所述视线与 屏幕的交点。 3.如权利要求2所述的模型参数标定方法， 其特征在于， 所述根据所述眼球球心的投 影、 所述眼球球心的位置坐标， 以及瞳孔眼球距离确定相 机坐标系 下瞳孔中心的坐标的步 骤包括： 根据眼球 球心的投影 计算眼球 球心在相机坐标系中的方向； 根据所述眼球球心的位置以及相机的平移向量确定世界坐标下相机与眼球球心的距 离； 根据眼球球心在相机坐标系中的方向， 相机与所述眼球球心 的距离， 以及瞳孔眼球距 离计算相机坐标系下的眼球 球心的坐标； 根据所述相机坐标系下的眼球球心的坐标以及相机坐标系下的光轴方向确定相机坐 标系下的瞳孔中心的坐标。 4.如权利要求1所述的模型参数标定方法， 其特征在于， 所述眼球模型的未知参数包 括： 眼球球心的位置坐标， 瞳孔中心与眼球球心的距离， 角膜曲率中心与眼球球心的距离， 角膜曲率半径， 视轴与光轴的夹角。 5.一种视线追踪方法， 其特 征在于， 包括： 根据权利要求1至4任意一项所述的模型参数标定方法得到的眼球模型的未知参数的 值对所述眼球模型的参数进行修 正； 获取所述用户的待检测人眼图像， 并对所述待检测人眼图像中的瞳孔投影进行轮廓检 测， 得到轮廓点 集合；权　利　要　求　书 2/4 页 3 CN 114360043 B 3