【摘要】 本发明涉及一种基于线性和贝叶斯概率混合模型的人脸超分辨率处理方法，由图像采集和图像预处理、人脸图像主成分提取、特征脸超分辨率处理、主成分超分辨率处理和贝叶斯概率修正组成。该人脸超分辨率处理方法采用一种基于线性模型和贝叶斯概率模型的混合模型，首先提取低分辨率人脸图像的主成分分量，利用线性模型通过训练得到低分辨率特征脸的超分辨率结果实现主成分的初步超分辨结果；然后利用贝叶斯概率模型，通过最大后验概率估计对初步超分辨结果进行修正，有效地加强了超分辨率算法对噪声的鲁棒性，提高了超分辨率结果的清晰度。 【专利类型】发明授权 【申请人】北方工业大学; 北京航空航天大学 【申请人类型】学校 【申请人地址】100041 北京市石景山区晋元庄路5号 【申请人地区】中国 【申请人城市】北京市 【申请人区县】石景山区 【申请号】CN200810226628.8 【申请日】2008-11-18 【申请年份】2008 【公开公告号】CN101430760B 【公开公告日】2010-11-03 【公开公告年份】2010 【授权公告号】CN101430760B 【授权公告日】2010-11-03 【授权公告年份】2010.0 【IPC分类号】G06K9/00; G06K9/60 【发明人】王一丁; 王蕴红; 李鎏 【主权项内容】基于线性和贝叶斯概率混合模型的人脸超分辨率处理方法，该方法包括：步骤一：图像采集和图像预处理；使用图像采集设备采集低分辨率人脸图像，并分别读取高分辨率人脸图像训练库和低分辨率人脸图像训练库中的高分辨率人脸图像和低分辨率人脸图像，使用直方图均衡和直方图拉伸的方法分别对采集到的上述三种人脸图像做预处理；步骤二：人脸图像主成分提取；对从步骤一中得到低分辨率人脸图像训练库中低分辨率人脸图像的预处理结果进行人脸图像的主成分提取，即提取低分辨率人脸图像特征脸；其具体步骤如下：(1)将从步骤一中得到低分辨率人脸图像训练库中低分辨率人脸图像的预处理结果转化成向量，构造总体散布矩阵；(2)通过奇异值分解的方法，计算总体散布矩阵的特征值和特征向量；(3)将特征值按照从大到小排序，选择前L个特征值对应的特征向量作为人脸的主成分，即特征脸；步骤三：人脸图像特征脸的超分辨率处理；建立线性模型，在线性模型中使用高分辨率人脸图像训练库中的高分辨率人脸图像替代低分辨率人脸图像，即对低分辨率人脸图像特征脸进行超分辨率处理；其具体步骤如下：(1)通过奇异值分解的方法，计算训练样本中低分辨率人脸图像的总体散布矩阵的特征向量矩阵：其中，E为特征向量矩阵，U为训练人脸图像矩阵，V为总体散布矩阵的转置的特征向量矩阵，Λ为特征值矩阵；(2)将低分辨率的特征脸表示成低分辨率训练图像的线性求和：其中，eil为低分辨率特征脸，Ul为低分辨率训练人脸图像矩阵，Vl为低分辨率 训练人脸图像的总体散布矩阵的转置的特征向量矩阵，Λl为低分辨率训练人脸图像的特征值矩阵，ai为加权系数，ml为低分辨率平均脸向量；(3)用训练人脸图像库中的高分辨率人脸图像代替和之对应的低分辨率人脸图像，得到对应的低分辨率特征脸的超分辨率处理结果：其中，为低分辨率特征脸的超分辨率处理结果，Uh为高分辨率训练人脸图像矩阵，mh为高分辨率人脸图像的平均脸向量，ai、Vl、Λl分别为低分辨率人脸图像的参数；步骤四：人脸图像主成分超分辨率处理；利用步骤三所得到的低分辨率特征脸的超分辨率处理的结果，对采集的低分辨率人脸图像的主成分进行超分辨率处理，其步骤如下：(1)将采集的低分辨率人脸图像投影于低分辨率人脸图像的主成分上，将该低分辨率人脸图像xl定义为两部分，其中定义为低分辨率人脸图像主成分的线性和， 定义为低分辨率人脸图像的其余非主成分部分：其中，ai为人脸图像主成分线性和中的加权系数，由人脸图像主成分投影得到，L为所选取的加权系数的个数，为低分辨率特征脸，elx为低分辨率人脸图像的其余非主成分部分；(2)使用特征脸超分辨率处理中所得到的低分辨率特征脸的超分辨率处理结果来计算采集的低分辨率人脸图像的初步超分辨率处理结果：其中，为低分辨率人脸图像主成分线性和的超分辨率处理结果，为低分辨率特征脸对应的超分辨率处理结果；步骤五：贝叶斯概率修正；使用一个最大后验概率的贝叶斯估计器对步骤四中低分辨率人脸图像的其余非 主成分部分的超分辨率处理结果进行估计，用该估计值对步骤四中得到的低分辨率人脸图像的初步超分辨率处理结果进行修正，将主成分和非主成分的超分辨率处理结果求和，得到最终人脸图像超分辨率处理结果，具体步骤如下：非主成分部分为：其满足方程：其中，ehx是elx超分辨率处理结果的非主成分部分，为低分辨率人脸图像非主成分部分的超分辨率处理结果，Eh表示高分辨率人脸图像的特征向量矩阵，ah表示高分辨率人脸图像的加权系数，H为图像退化矩阵，n为噪声，经过变换进一步得到其满足方程：其中，表示低分辨率人脸图像的特征向量矩阵的转置；本发明使用的最大后验概率的贝叶斯估计器：其中，表示高分辨率人脸图像加权系数的估计值，p(ah)是先验概率，是条件概率；人脸图像的先验概率被看作一个高斯模型：其中，Z为归一化系数，Λ是高分辨率人脸图像加权系数ah的协方差矩阵，μa是高分辨率人脸图像加权系数ah的均值；将F＝Hehx+n看作另一个高斯模型，则F的先验概率为：其中，Z为归一化系数，K是F的协方差矩阵，μF是F的均值；K和μF通过训练样本计算得到，最后得到高分辨率人脸图像加权系数的最大后验概率估计为：则采集低分辨率人脸图像的非主成分部分的超分辨率处理结果为：Eh通过训练图像库中的高分辨率人脸图像训练得到，而在非主成分部分的超分辨率中，子空间表示的误差可以被忽略，故将 作为精确解，将主成分和非主成分的超分辨率处理结果求和，则采集低分辨率图像的最终超分辨率处理结果xh为：dest_path_FSB00000052539700011.tif, dest_path_FSB00000052539700012.tif, F2008102266288C00021.TIF, F2008102266288C00022.TIF, F2008102266288C0002191535QIETU.TIF, F2008102266288C0002191543QIETU.TIF, F2008102266288C00023.TIF, F2008102266288C00024.TIF, F2008102266288C00025.TIF, F2008102266288C0002191557QIETU.TIF, F2008102266288C00026.TIF, F2008102266288C00027.TIF, F2008102266288C00028.TIF, F2008102266288C00031.TIF, F2008102266288C00032.TIF, F2008102266288C00033.TIF, F2008102266288C00034.TIF, F2008102266288C00035.TIF, F2008102266288C00036.TIF, F2008102266288C00037.TIF, F2008102266288C00038.TIF, F2008102266288C00039.TIF, F2008102266288C000310.TIF, F2008102266288C000311.TIF, F2008102266288C00041.TIF, F2008102266288C00042.TIF, F2008102266288C00043.TIF, F2008102266288C00044.TIF, F2008102266288C00045.TIF, F2008102266288C00046.TIF 【当前权利人】北方工业大学; 北京航空航天大学 【当前专利权人地址】北京市石景山区晋元庄路5号北方工业大学; 北京市海淀区学院路37号 【专利权人类型】公立; 【统一社会信用代码】1211000040086596XB; 12100000400011227Y 【家族被引证次数】11
