项目

一般

简介

特征点对比算法介绍

寒假期间我阅读了中科大《多视点视频捕获及实时拼接技术研究》,上海交通大学的《一种新的PCNN实现方法及其在图像处理中的应用》,武汉科技大学《基于SIFT特征的全景图像拼接算法研究》及北京工业大学的《图像拼接技术研究》。

以下根据这些文章对图像匹配对比方面做一些个人概括:
1. 图像匹配主要技术:模块匹配及特征点匹配,相应的算法也有灰度相关匹配和特征相关匹配。
2. 模块匹配:将图像分为M*N的图像子块,假设图像子块内各像素仅作相同的平移运动。那么将每一个子块,在下一个图像帧的某一个搜索区域内搜索,根据一定的匹配准则寻求最优匹配。匹配准则一般有平均绝对误差、均方误差和最大匹配像素数量。
该方法为了实现最佳匹配,需要对全图像中任意的一个子块都进行多次匹配,导致计算量巨大。目前有快速搜索算法来减少计算量,但是各种快速搜索算法都有可能导致局部最优。

*相位相关法:基于图像傅立叶功率谱分析的频域相关技术,实现步骤如下:
a.导入两幅图像f1与f2,
b.分别对f1和f2作二维傅立叶变换F1与F2,
c.利用公式计算规格化互功率谱,
d.对互功率谱进行傅立叶反变换,
e.找出幅值最大值的位置作为两图像的平移量,
f.对两幅图像进行融合算法处理.拼接成完整图像.
优势:拼接效果不错。 劣势:要求图像重叠率要高于20%。

*比值法和模板匹配法:基于像素灰度级的图像匹配算法。
比值法拼接速度快,但是如果模板M中第二列出现黑色像素点,那么比值法将不能成立。
模板匹配法拼接效果好,但是由于算法复杂,运算量巨大,因此速度慢。在可以使用比值法的时候尽量使用比值法。
3. 特征点匹配:
1.基于角点特征:利用角点检测算法提取角点,如Harris角点算法、SUSAN角点检测算法。然后利用相互关系法(是否即相位相关法)进行粗匹配,然后利用RANSAC算法精确匹配,然后利用Levenberg-Marquardt算法求出优化的转换矩阵,最后进行拼接。
2.基于SIFT特征:由于另外两位同学已经详细介绍过这种匹配,因此不再赘述。

附:PCNN技术在图像匹配方面用处不大,到是在后期的边缘检测等图像处理方面有很大的作用。上海交通大学的该文章主要讲解了一种将PCNN与传统图像处理结合起来的方法,是PCNN技术所需要的时间大大减少。

PS.个人认为这篇文章对于SIFT的讲解更通俗一点。参考文献-《SIFT特征匹配技术讲义》——山东大学信息科学与工程学院 赵辉
另外疑问如下:图像拼接法有基于频域法、基于像素灰度级的匹配法和基于特征块的方法,其各有优劣。那么我的疑问是这三者之中,是否前两者所用的匹配法都算是模块匹配呢?