【摘要】 一种图像处理技术领域中的广角图像自动拼接方法，包括：步骤一、设定广角摄像机移动速度与图像采集周期；步骤二、得到两幅相邻图像重叠像素宽度；步骤三、建立图像非线性畸变矫正数学模型；步骤四、建立图像数据坐标转换关系；步骤五、求取畸变向量参数和外参数值；步骤六、对受畸变影响后的图像进行求逆运算获得矫正非线性畸变后的整幅真实图像；步骤七、在矫正畸变后图像的重叠宽度内区域快速寻找相邻两幅图像上的公共特征点；步骤八、利用透视变换实现两幅图像的配准；步骤九、将已经配准好的两幅图像进行拼接；步骤十、采用基于小波双三次插值方法对图像的拼接处进行融合。本发明能够自动实现相邻图像的连续融合和无缝拼接。 【专利类型】发明授权 【申请人】上海交通大学 【申请人类型】学校 【申请人地址】200240 上海市闵行区东川路800号 【申请人地区】中国 【申请人城市】上海市 【申请人区县】闵行区 【申请号】CN200810036149.X 【申请日】2008-04-17 【申请年份】2008 【公开公告号】CN101276465B 【公开公告日】2010-06-16 【公开公告年份】2010 【授权公告号】CN101276465B 【授权公告日】2010-06-16 【授权公告年份】2010.0 【IPC分类号】G06T7/00; G06T5/50 【发明人】应俊豪; 张秀彬; 莫臻; 李君峰 【主权项内容】1.一种广角图像自动拼接方法，其特征在于，包括以下步骤： 步骤一、设定广角摄像机移动速度V与摄像机图像采集周期T； 所述设定摄像机图像采集周期T，图像采集周期即相邻两幅图像采集的间隔时间，为了确保相邻图像具有足够的重叠部分，图像采集周期T的取值范围限定为： 其中，u为每幅图像像素宽度，即每行像素数；Vu为对应摄像机移动速度V的像素移动速度； 步骤二、根据设定的速度V和图像采集周期T拍摄图像，得到两幅相邻图像重叠宽度，具体为：Δu＝umax-TVu，单位为像素数pels，umax为采样图像最大宽度下的行像素数； 步骤三、建立图像非线性畸变矫正数学模型，并根据该数学模型中的参数构成一个畸变向量； 所述图像非线性畸变矫正数学模型，具体为： 其中， 为图像平面坐标系中受畸变影响后的点坐标；r为图像平面坐标系中真实点坐标[x y]T到原点的距离，r2＝x2+y2；k1、k2为径向畸变参数，l1、l2为切向畸变参数，m1、m2为薄棱镜畸变参数； 所述畸变向量，由径向畸变参数、切向畸变参数和薄棱镜畸变参数构成，具体为：[k1 k2 l1 l2 m1 m2]T，其中：k1、k2为径向畸变参数，l1、l2为切向畸变参数，m1、m2为薄棱镜畸变参数，该畸变向量建立在归一化虚平面上； 步骤四、实现图像数据坐标转换，包括：从世界坐标系到摄像机坐标系的转换、从摄像机坐标系到归一化虚平面坐标系的转换、从归一化虚平面坐标系到计算机图像像素坐标系的转换； 步骤五、根据图像数据坐标变换，通过迭代计算求取畸变向量参数和摄像机的全部外参数值； 步骤六、将步骤五所确立的畸变向量参数值代入步骤三建立的图像非线性畸变矫正数学模型，通过该数学模型对受畸变影响后的图像进行求逆运算获得矫正非线性畸变后的整幅真实图像； 步骤七、针对经过矫正畸变之后的图像，在重叠宽度为Δu＝umax-TVu的区域内寻找相邻两幅图像上的公共特征点； 步骤八、将两幅图像进行透视变换恢复到同一个透视关系上，获得两幅图像形状一致的公共部分，并实现两幅图像在非重叠部分具有良好的形状平滑连续性，实现两幅图像的配准； 步骤九、将已经配准好的两幅图像进行拼接，具体为： ①分别以经过最左边和最右边公共特征点的两根竖直线作为两幅图像待拼接区域的左、右边线，即待拼接区域的左、右列像素，ul与ur代表对应左、右列的行坐标； ②对待拼接区域左、右边线宽度(ul-ur)进行N等分获得N+1根拼接线和N个列条块：令第一幅图像的待拼接图像拼接区域左、右边线宽度(ul-ur)图像为E，第二幅图像的待拼 接图像拼接区域左、右边线宽度(ul-ur)图像为F，则被分块后的E依次得到列条块图像：E(1)、E(2)、…、E(N)，被分块后的F依次得到列条块图像：F(1)、F(2)、…、F(N)，每列条块所包含的列像素条数 ③在上述分块基础上，第一待拼接图像和第二待拼接图像的拼接区域左边线为L(0)，拼接区域每个分块的右边线依次为L(1)、L(2)、…、L(N-1)，拼接区域的右边线为L(N)，L(1)、L(2)、…、L(N-1)被分别称为第一、第二、…第N-1拼接线； ④第一待拼接图像和第二待拼接图像拼接线像素合成，公式如下： i＝1，2，K，N-1 其中，IE(i)、IF(i)分别代表待拼接区域宽度图像E和F在第i条拼接线上的原列像素值，I(i)表示E和F经过上述公式合成后第i条拼接线上的列像素值，像素值包括：黑白图像灰度值和彩色图像红色分量R、绿色分量G和蓝色分量B的亮度值； 步骤十、采用基于小波双三次插值方法对图像的拼接处进行融合，包括：拼接区域左边线与第一拼接线之间、相邻拼接线之间以及第N-1拼接线与拼接区域右边线之间的融合； 所述采用基于小波双三次插值方法对图像的拼接处进行融合，具体为： ①对第一待拼接图像拼接区域原图E进行分解 第一次对E分解：[EIL1，EIH1，EIV1，EID1]＝DWT(E) 第二次对EIL1分解：[EIL2，EIH2，EIV2，EID2]＝DWT(EIL1) 其中，EIH1和EIH2、EIV1和EIV2、EID1和EID2分别为水平、垂直、对角方向高频细节，EIL1和EIL2为低分辨率图像，DWT为离散小波变换； ②对EIL2、EIH2、EIV2、EID2进行小波反变换，重构高分辨率图像EIL1， EIL1＝DWT-1(EIL2，EIH2，EIV2，EID2) ③再对EIL1、EIH1、EIV1、EID1进行小波反变换，重构高分辨率图像E， E＝DWT-1(EIL1，EIH1，EIV1，EID1) 小波分解后水平、垂直、对角三个方向的细节图反映了原始图像在这三个方向上的边沿特征； ④重复上述①～③的过程，对第二待拼接图像拼接区域原图F进行分解，先后获得 第一次对F分解：[FIL1，FIH1，FIV1，FID1]＝DWT(F) 第二次对FIL1分解：[FIL2，FIH2，FIV2，FID2]＝DWT(FIL1) 重构高分辨率图像FIL1：FIL1＝DWT-1(FIL2，FIH2，FIV2，FID2) 重构高分辨率图像F：F＝DWT-1(FIL1，FIH1，FIV1，FID1) 其中，FIH1和FIH2、FIV1和FIV2、FID1和FID2分别为水平、垂直、对角方向高频细节，FIL1和FIL2为低分辨率图像； ⑤根据E和F的插值结果对列像素逐列进行合成，合成基本公式如下： 其中，IE(i)、IF(i)分别代表E、F被等分后依次隶属第i条拼接线的经过小波双三次插值运算重构的高分辨率列条块像素值； 对列条块图像E(1)、E(2)、…、E(N)和F(1)、F(2)、…、F(N)，按j＝1，2，K，SN进行再分解，将上述合成基本公式转换为 其中，IE(i)j、IF(i)j、分别代表E、F在第i列条块中第j列像素值，I(j)为合成后的第j列像素值，SN为每列条块所包含的列像素条数； 当完成第一与第二两幅图像得无缝拼接后，继续上述步骤六至步骤十的过程完成第二幅与第三幅、第三幅与第四幅及其后续的所有相邻两幅图像的无缝拼接，最终实现宽幅无缝拼接。 【当前权利人】上海交通大学 【当前专利权人地址】上海市闵行区东川路800号 【统一社会信用代码】1210000042500615X0 【引证次数】5.0 【他引次数】5.0 【家族引证次数】5.0 【家族被引证次数】75
