【摘要】 本发明公开了一结合3D人脸模型的视频差错掩盖方法，对可视电话应用领域视频传输中出现的差错进行差错掩盖处理以提高人脸图像受损区域的主观视觉质量。获取用于调整3D人脸模型的人脸部分关键特征点，根据关键特征点确立出位置和形状信息，并在调整过程中结合当前帧更新模型的纹理信息，从而实现与当前帧人脸图像的匹配对应的特定3D人脸模型。结合预掩盖思想和特定3D人脸模型，实现对人脸区域的较准确掩盖，同时背景区域仍采用传统方法掩盖，最后对人脸与背景结合边缘处采取一定的平滑处理措施，显著提高掩盖的性能和主观质量。 ： 【专利类型】发明授权 【申请人】西南交通大学 【申请人类型】学校 【申请人地址】610031 四川省成都市二环路北一段111号西南交通大学科技处 【申请人地区】中国 【申请人城市】成都市 【申请人区县】金牛区 【申请号】CN200810046012.2 【申请日】2008-09-09 【申请年份】2008 【公开公告号】CN101360246B 【公开公告日】2010-06-02 【公开公告年份】2010 【授权公告号】CN101360246B 【授权公告日】2010-06-02 【授权公告年份】2010.0 【IPC分类号】H04N7/68; H04N7/14; H04N19/895 【发明人】范小九; 彭强; 夏旭 【主权项内容】结合3D人脸模型的视频差错掩盖方法，对可视电话应用领域视频传输中出现的差错进行差错掩盖处理以提高人脸图像受损区域的主观视觉质量，包括如下的步骤，1)正确接收帧进行人脸检测和特征点标记，计算对应3D人脸模型的位置和形状信息，实现3D人脸模型的自动调整并结合视频图像进行纹理修补及映射；2)对出错帧进行基于3D人脸模型的差错掩盖，充分利用前后帧宏块之间的相关性，通过前一帧的相应位置结合当前帧的运动向量MV预测当前出错帧相同区域内其他宏块的丢失情况判断人脸区域属于大部分丢失还是少量丢失；3)人脸区域全部或者大部分丢失时，当前帧无法提供足够的信息用于确定特定人脸的位置和形状信息，使用从当前帧背景运动估计得到的位置和形状估计信息来调整更新3D人脸模型或者直接沿用前一帧的3D人脸模型，然后进入步骤5；4)人脸区域少量丢失时，先对受损区域进行时域预掩盖，根据掩盖结果采用人脸检测和特征点定位相关算法提取出关键特征点，保留正确接收宏块上的特征点，未正确接收宏块通过前一帧相应特征点运动估计获取；根据关键特征点确立出位置和形状信息，结合可获得的纹理信息进一步调整更新3D人脸模型；然后进入步骤5；5)将3D人脸模型移动至当前出错帧相应位置进行适当调整和映射掩盖，从而用新的宏块替代原始受损宏块；6)掩盖后人脸与背景边缘处的平滑处理。 【当前权利人】西南交通大学 【当前专利权人地址】四川省成都市二环路北一段111号西南交通大学科技处 【专利权人类型】公立 【统一社会信用代码】12100000450752090P 【引证次数】4.0 【被引证次数】2 【他引次数】4.0 【被他引次数】2.0 【家族引证次数】4.0 【家族被引证次数】24
