维普资讯 http://www.cqvip.com 基于兴趣点的图像检索 刘 毅 张 明 (南京审计学院计算机系,南京210029) (上海海事大学信息工程学院,上海200135) E—mail:s_worm@163.tom 摘要在基于内容的图像检索中,往往使用颜色、纹理以及形状的全局特征来描述图像,然而全局特征不能描述图像 的细节.丢失了图像的空间信息。文章利用兴趣点来灵活描述图像的局部信息,提取兴趣点周围的颜色矩作为局部特征, 通过兴趣点的匹配和带权投票来进行相似度量。几何哈希技术的使用增强了兴趣点间的正确匹配。实验证明了这种方法 的有效性.具有旋转、平移和部分的尺度不变性。 关键词基于内容的图像检索兴趣点颜色矩几何哈希带权投票 文章编号1002—8331-(2006)12—0102—05 文献标识码A 中图分类号TP391 Interest Points Based Image Retrieval Liu Yi Zhang Ming ̄ (Department of Computer Science,Nanjing Audit University,Nanjing 210029) (College of Information Engineering。Shanghai Maritime University,Shanghai 200 1 35) Abstract:In content—based image retrieval,global features related to color or texture and shape are commonly used to describe the image content.The problem with this approach is that these global features can not capture all parts of the image having diferent characteristics and can’t contain the spatial features.In this paper,a new method for image retrieval using interest points to represent local information flexibly,and extracting color moment in the locations given by our interest points is proposed.This method of similarity measurement is effective by using interest points matching and weighted voting.hTe geometry hashing technic is used tO improve the matching result.Finally experiments show that htis method is very effective and robust to rotated,translated and part—scaled image. Keywords:content—based image retrieval,interest points,color moments,geometry hashing,weighted voting 1 引言 空间.通过降低S通道和V通道的权重,减轻了图像亮度V和 由于数字图像数量的猛增,对其进行快速、高效检索的要 饱和度S对检索结果的影响.从而对图像亮度的变化具有一定 求愈加强烈。从20世纪9o年代初开始,基于内容的图像检索 的鲁棒性。通过几何哈希技术和带权投票的相似性度量算法的 技术得到了广泛发展。在传统的基于内容图像检索的方法中, 使用,加强了兴趣点问的几何约束,增加了正确匹配的兴趣点 通、常提取图像的全局特征,而较少考虑图像的空间信息,并且 对数量,降低了投票阈值选取的难度,改善了检索效果。 用户可能仅仅对部分图像或图像中的某一对象感兴趣,这时候 图像的全局特征将不再有效,我们必须考虑图像的局部特征。 2兴趣点检测及特征提取 首先在图像中找到相关对象的区域,然后使用局部描述子进行 兴趣点检测的目的是要提取图像中最具有代表性的点,由 局部特征的提取。解决方法包括:基于感兴趣区域【1删的检索方 于这 点蕴含丰富的图像信息,使用它们并选用适当的局部特 法,感兴趣区域(Region of Interest)是指图像中最能引起用户 征描述子就能近似描述整幅图像的特征.从而减少特征提取的 兴趣。最能表现图像内容的区域,然而这种方法依赖于好的图 空间复杂度。兴趣点应用于图像检索要求检测到的点具有可重 像分割算法,而完美的图像分割算法目前还没有;Schmid和 复性,即图像在亮度变化、视觉角度变化等不同情况下,能重复 Moh#将计算机视觉中的兴趣点匹配技术应用到图像检索中较 检测到这些点,因此人们常常将广泛应用于计算机视觉中的角 好地解决了这一问题,通过兴趣点的检测对图像的视觉特征变 点作为兴趣点应用于图像的检索。其中Harris角点四使用最为 化大的区域进行定位。局部描述子对兴趣点周围的局部区域进 普遍.得益于Harris角点对旋转、平移、亮度以及一定的尺度变 行特征提取,最后通过点匹配进行相似度量。兴趣点灵活地描 换所具有的良好的鲁棒性嘲,Gouet等同将Harris角点检测由灰 述了图像的细节内容,能够通过一些兴趣点的集合来对对象特 度图像推广到彩色图像。本文采用彩色Harris角点作为兴趣点。 征进行描述,使得我们向面向语义对象的检索更近了一步,而 2.1彩色Harris角点 且对图像的几何变换具有很强的鲁棒性。不需要对图像进行分 Gouet等同扩展的彩色Harris角点检测方法如下: 割。本文采用颜色矩作为局部描述子,将颜色空间变换到HSV 定义1函数l(x,',)定义为彩色图像的某一通道的灰度值, 作者简介:刘毅(1979一),男,教师,主要研究方向为基于内容的图像检索技术。张明(1957一),男,教授,硕士研究生导师,主要从事多媒体信息处理 方面的研究。 102 2006.12计算机工程与应用 维普资讯 http://www.cqvip.com ‘、‘分别为图像在 轴、Y轴方向的一阶偏导,,∈{R,G,B}。 定义2 ()为低通高斯滤波窗口, 为高斯滤波函数的光 滑尺度。 定义3矩阵M定义为: f【 (见R G G#Bf2+曰 l)  ̄) ( ;+G;+ )j 定义4判断角点的响应函数为: 孝 图2对兴趣点的邻域进行局部特征提取 R=Det(M)一kTrace2(M、 R>0 即 可判定为 k=0.04 设p 是图像中第 个像素的第i个颜色分量,,v为每一个 由彩色Harris角点检测算法检测出的图像的角点如图1 子块的像素的个数,则针对每个分量的统计定义为: 所示(用十字标记的点即为角点)。 . 一阶矩: ∑p 』V r=1 二阶矩:t/"i=( ∑(p ) ) 』V,=1 l 三阶矩:s ( ∑(p ) )了 』V J=1 就本文采用的颜色空间而言。虽然RGB空间是最常用的 圈1彩色Har● 1 ris角点检测实例 颜色空间,但RGB空间结构并不符合人们对颜色相似性的主 观判断,因此有人提出了基于HSV空间、Luv空间和IJab空问 在实际使用过程中,我们还可以进一步调整响应函数 的颜色直方图,因为它们更接近于人们对颜色的主观认识。我 的阈值来调整所需的角点的数量。提高 的阈值,可以去掉一 们采用最常用的HSV颜色空间。 些较弱的角点,只保留较强的角点;而降低 的阔值将使较弱 的角点也被检测出来。 3兴趣点匹配及相似度量 2.2特征提取 提取了每个兴趣点的特征向量并记录了兴趣点的位置信 为了获取兴趣点所代表的图像信息.必须对兴趣点周围邻 息后,必须将查询图像和数据库中的图像的兴趣点对进行匹 域进行局部特征的提取。为了得到对局部特征的平移、旋转不 配,对相似度进行度量,匹配的正确与否将直接影响检索的结 变的描述,Schmid和Mohrt41计算了灰度图像的“Local iet” 到 果。Schmid和Mohr直接计算两点间的相似距离。最短的相似 三阶,构造了一个9维的特征向量。由于在一定的尺度空间下 距离即被认为是最佳匹配。但由于有可能存在多个相同的特征 对图像进行了高阶的微分计算,不仅算法的复杂度较高.而且 向量,往往造成多个点匹配同一个点的情况,为了得到正确的 对噪音十分敏感。因此,我们采用Stricker和Orengotsl提出的简 点对匹配,减少错误匹配的兴趣点对数目,Califano[91建议使用 单而有效的基于颜色矩的特征检索。它比传统的直方图更具有 长的特征向量来减少错误匹配的概率.但增加特征向量的维数 鲁棒性,从而克服了局部直方图特征矢量维数较高。计算复杂 同样增加了计算的复杂度.Sehmid和Moh#通过在兴趣点对匹 不利于存储和匹配的缺点,该方法的另一个好处在于无需对特 配的过程中加入一些点对之间的几何关系约束来解决这一问 征进行量化,因此本文采用颜色矩进行特征提取。 题,P邻近的兴趣点对之间必须满足一定的夹角关系,但仅仅 颜色矩方法的思想在于图像中任何的颜色分布均可以用 考虑了少部分点之间的关系。为此。我们采用几何哈希【 Ol技术 它的矩来表示,此外由于颜色分布信息主要集中在低阶矩中[81, 对图像的各种几何变换加以考虑,保证兴趣点对在各种几何变 因此仅采用颜色的一阶矩mean)、二阶矩variance)和三阶矩 换下,或只有部分图像出现时的正确匹配。 (skewness)就足以表达图像的颜色分布。我们计算以兴趣点为 3.1 基于几何哈希的兴趣点匹配 中心,半径r=7的圆形子块图像的三个低阶矩作为特征值(如 几何哈希技术广泛应用于计算机视觉中[111.对物体在各种 图2所示,右图为左边的物体出现遮挡的情况。兴趣点很好地 几何变换下或只有部分图像出现的特征点进行匹配.采用任意 描述了被遮挡的物体的局部特征),采用圆形子块而不采用方 的两点作为基点能够做到2D图像的旋转、平移和尺度不变。 形子块主要是为了增强特征描述子的旋转不变性。 采用任意的三点作为基点能够做到2D图像的仿射不变,采用 (Jlfl。(4.1)) Model of hash 4o 圈3 以(1.4)为基点得到的哈希衰 计算机工程与应用2006.12 103 维普资讯 http://www.cqvip.com 任意的四点作为基点能够做到射影不变。然而使用过多的点作 为基点将大大增加计算的复杂度.故本文仅采用两点作为基 点。处理过程简要概述如下: (1)提取图像特征点(在本文中,即为提取的兴趣点),假设 有/1个特征点被提取。 (2)取任意两个顺序点作为基点,并缩放两点问的距离到 单位长度。两点间的中点作为坐标原点。并重复以下步骤: ①计算其他点的坐标( ); ②根据坐标( ,口 )找到哈希表的人口,并将(特征点,基 点)信息存人相应的哈希表位置中。 图3(引自文献[1O])显示了以(1,4)为基点经历尺度变换、 旋转变换后得到的哈希表,图4(引自文献[1O1)为考虑了所有 的基点后得到的哈希表结构。 ● 0 : O ● 。 m ^ Ⅱ u l口 O D _圈4考虑所有的基点得到的哈希衰 事实上。在我们的实际处理中,为了减少计算的空间复杂 度以及减少噪声点的影响.必须对哈希表的尺寸进行一定的量 化.本文量化为100xl00。同时。我们发现如果所取基点的距离 非常远,进行尺度变换后得到的其他点将集中于哈希表的中间 部分如图5所示。不仅对特征点的正确匹配贡献不大,也大大 增加了计算复杂度。为了避免这种情况出现。必须对基点的选 取资格加以约束,基点的距离必须小于一个域值,否则将不能 作为基点,图6为对基点选取加以约束得到的哈希表。 柬 柬 3.2基于带权投票的相似性度量 在图像的查询阶段,我们通过投票对图像进行相似性度 量,越是相似的图像将得到更多的票数,设Q为查询例子图 像,,为图像库中某一图像,则对Q进行兴趣点检测,特征提取 并进行几何哈希变换得到哈希表后,与图像,进行带权投票的 相似性度量,具体算法如下: 步骤1对图像Q的任一基点Qa(ij ̄得到的哈希分布.由图 像J中某一基点 ( )得到的哈希分布进行投票,即对由两个基 点变换到同一哈希表位置的兴趣点(即为由几何哈希得到的匹 配的兴趣点对)特征向量进行相似距离计算: 设 和_,分别为两幅图像中匹配的兴趣点周围的邻域子 块,三个对应的低阶矩(见2.1节)分别为 、 、s 和 、t ,则 104 2006.12计算机工程与应用 子块之间的相似性度量定义为: z),一(H,.,)= ∞n I+to.,Io-r/3il+∞els广 i 1 r为颜色的通道数, “≥O(Z≥1,k≤3)作为权重。能够为特 定的应用指定权值来调整相似函数。在HSV颜色空间中由于 色调(Hue)包含了绝大多数的信息,因此可以凋整所有H颜色 通道的权值高于S和V通道的权值,这样就大大减轻了图像 亮度V和饱和度S对检索结果的影响,对颜色分布不同的图 像能够很好地检索出来。若D一(H,.,)< ( 为设定的域值),则 进行投票,并统计 ~ 所投的票数; 步骤2计算图像,其它的基点 (“)对 ( )的投票,选出, 所有基点的最大票数作为 (iI『)所得的最终票数; 步骤3将图像Q所有基点的最终票数进行累加得到图像 Q和,的相似度S(Q,,); 因此.我们将两幅图像的相似函数定义如下: ““ 0 S(Q, ∑max(∑∑ ‘=1 』=1肛l (n m分别为图像Q、,的基点个数,rtq、n1分别为图像Q、J 的兴趣点个数): f 1 if C(Qij)==c(,m. )and D一(Q…,m. )< 1 0 0therwise 函数C()代表几何哈希的坐标变换, J代表以图像Q第i 个基点作几何变换的第.f个兴趣点, . 即为以图像,第m个 基点作几何变换的第/1个兴趣点。 然而。一般的投票算法在满足域值范围情况下的简单投票 没有对图像的相似程度进行进一步的区分,而且域值过大,不 相似的图像也能获得同样的票数,域值过小,相似图像也可能 没有投票,使得投票结果完全依赖于域值的设定,不仅增加了 域值选取的难度,也不利于对查询结果的细分,为此,我们采用 带权的投票算法来解决这一问题: f D一(QIJ,L. )ifC(Qij)==c(,m. )and D一( J,,m. )< 10 0therwise 进一步对相似函数进行规一化: .s,(p。… S(Q,Q) 带权投票不仅利用阈值减少了完全不相似图像对检索结 果所带来的噪声,因为在判断两幅图像是否相似时,我们一般 寻找相似点而忽略不相似点,而且利用权值对相似距离进行了 细分。优化了检索结果。 4实验结果及分析 由5o0幅关于动物的自然图像、3D图像以及200幅从不 同角度拍摄的建筑图像对本文基于兴趣点的图像检索系统进 行了测试,从图像的旋转、平移、尺度以及视觉角度变化、亮度 变化方面对检索结果的影响检验了本文算法的鲁棒性。 实验选用了图像特征数据库中已有的一幅图像.并在图像 库中通过图像处理获得了部分变换的图像(图7),图像下面说 明部分为旋转角度,括号中的数据为带权投票的相似度。实验 结果表明基于兴趣点的图像检索很好地做到了旋转和平移不 变。 有关尺度变换的影响。实验中对查询图像与自身尺度发生 变化的图像进行了比较.图像下面的第一个百分数为缩放比 维普资讯 http://www.cqvip.com 例,括号中的百分数为相似度,结果如图8。 大到小排列。 实验结果表明,本文的检索算法具有一定的尺度鲁棒性, 衰1Ⅳ、S、 权重殛亮度变化对检索结果的影响 但随着尺度变化的范围扩大。图像的相似度也随之衰减,原因 在于我们在兴趣点检测时没有考虑多尺度的兴趣点检测.用同 一个窗口尺寸去搜寻局部最大值(见2.1节)势必造成兴趣点 检测的不稳定性。但采用多尺度的兴趣点检测势必增加特征提 取的计算复杂度和特征存储空间.也增加了相似度量的复杂 度,由于兴趣点本身具有一定的尺度不变性。因此,针对通用图 像库,本文未考虑多尺度兴趣点检测和特征提取。意在提高检 索的效率。 视觉角度不变进一步体现了基于兴趣点检索的灵活性,实 验中采用了200幅从不同角度拍摄的建筑图像进行了验证。如 实验结果表明。全局特征不能把握图像的空间信息.且不 图9所示(前4幅最相似的图像)。 能对图像的局部进行描述。因此,如图l1(a)所示,全局直方图 由于兴趣点很好地表征了图像的细节,因此在没有发生几 的检索结果都是绿色和白色的比例与查询图像比较接近的图 何畸变的情况下,能够做到一定的视觉角度不变性。 像,而不能检索到如图11(b)中第2幅、第3幅、第5幅包含部 通过在HSV颜色空间,调整所有日颜色通道的权值高于 分图像和发生遮蔽的图像。由此可见,基于兴趣点的图像检索 S和 通道的权值.这样就能抑制图像亮度 和饱和度S对检 更加接近于基于对象的语义级别的查询,检索结果更加符合人 索结果的影响(见2.2节),实验中用PhotoShop对原图进行亮 们认知图像的实际需要。 度的调整。效果见图10.四幅图像的相似度受H、S、 权重的 影响如表1所示 5结论及进一步的工作 由此可见.HSV颜色空间中.图像亮度的变化对S、 分量 本文所讨论的基于兴趣点的图像检索方法,从人认知图像 均有影响,而对日分量基本没有影响。本文通过在特征提取过 的实际需要出发。通过兴趣点的检测提取图像的局部特征.保 程中降低S、 的权重,提高了检索对亮度变化的鲁棒性。 留图像的空间信息。经过对兴趣点的匹配来检索相似图像.以 更进一步,我们将本文的基于兴趣点的局部特征检索方法 及几何哈希技术的使用.保证了图像的正确匹配.改进了检索 与基于全局直方图的检索方法得到的检索结果做了对比。如图 效果。克服了全局特征检索方法所不具有的对图像细节进行查 ll所示。最左边的图像为查询示例图。检索结果按照相似度从 询的能力。对查询图像的扰动有较强的抗干扰能力。基于兴趣 一喝l-_ 查询示例图 平移(96,68%) 180。(95.49%) 30。(95.29%) 160。(89.23%) 图7旋转平移不变测试图 查询示例图320x240 ■■■■_ 95%(93.154%) 90%(88.2%)80%(75.5%)60%(50-5%) 图8尺度不变测试图 一一一■ 查询示例图 90.387 7%82.579 8% 图9视觉角度不变测试图 _圉嘲霹 查询示例图 +30 +60 +90 +100 图lO亮度不变测试图 计算机工程与应用2006.12 105 维普资讯 http://www.cqvip.com - 一 _ (a)全局直方图检索结果 鼙 1 匾 (b)本文方法检索结果 围ll 与全局特征方法的比较 点的图像检索.可以依靠兴趣点的集合来描述一个对象,而且 2.j Malki,N Boujemaa,C Nastar et a1.Region queries without segmen— 能够描述图像分割方法很难处理的图像遮挡、部分出现的情 tation for image retireval by content[J].Visual Information and Ifnor- 况,使得我们向基于对象的语义级别的查询更近了一步。 mation Systems。1999:115 ̄122 进一步的工作首先依赖于我们对兴趣点检测方法的改进。 3.Moghaddam B,Biermann H,mara ̄tis D.Defining image content with 提高兴趣点检测在多尺度变换下的稳定性.并进一步考虑兴趣 multiple regions of interest[C].In:Pine IEEE Workshop on Content— 点对仿射变换,以及射影变换的鲁棒性。其次,进一步改进局部 Based Access of Image and Video Libraries(CVPR’99)。l999 特征描述子的表达能力,既能充分描述图像的细节又具有一定 4.C Schmid.R Mohr.Local grayvalue invariants for image retrieval[J]. 的抗干扰能力,只有兴趣点检测和局部特征描述子同时具有图 IEEE Transactions on Pattern Analysis and Machine Intelligence, 像变换的不变性.才能真正做到检索结果对图像变换的鲁棒 1997;19(5):530-534 性。最后。必须进一步研究有效的兴趣点匹配技术。提高算法的 5.C Harris.M Stephens.A combined corner and edge detector[C].In: 效率,真正做到大型图像数据库的实时查询。 Proceedings of the 4th Alvey Vision Conference.1988:l47-151 另外。由于基于兴趣点的图像检索能够比较精确地描述图 6.C Schmid,R Mohr,C Bauckhage.Evaluation of interest point detee— 像的细节,但相对而言,计算复杂度也提高了,而基于区域的检 tors[J].International Journal of Computer Vision,2000;37(2):151 ̄172 7.P Montesinos。V Gouet,R Deriche.Diferential Invariants for Color 索方法能够从部分整体的角度对图像进行划分。因此,可以考 虑将基于区域的检索方法和基于兴趣点的检索方法结合起来. Images[C].In:Proceedings of 14th International Conference on Pattern Recognition,Brisbane,Australia,1998 用基于区域的检索方法来检索区域相似的图像,而用基于兴趣 8.Stircker M。Orengo M.Similarity of color images[C].In:Niblaek W R, 点的检索方法来对相似区域再进行细节的检索,从而实现分级 Rceds J eds.Proceedings of the SPIE2420,Storage and Retireval for 检索,加快检索速度,改进检索结果。因此。如何将基于兴趣点 Image and Video DatabaselII。San Jose,CA:SPIE,1995:381-392 的图像检索方法和其他检索方法结合起来也是一个有待研究 9.A Califano.R Mohan.Multidimensional indexing for recognizing visual 的课题。(收稿日期:2005年7月) shapes[J].IEEE Transactions on Pattern Analysis and Machine Intelli— genee,1994;16(4):373—392 参考文献 lO.H J Wolfson.Geometric Hashing:An Overview[J].IEEE Computational 1.S Belongie,C Carson,H Greenspan ct a1.Colorand texture-based im- Science&Engineering,1997;4(4):10-21 age segmentation using em and its application to content—based image 1 1.H Z Hel-Or。Y Yitzhaki,Y Hel-Or.eGometirc Hashing Techniques retrieval[C].In:Proc Int Conf on Computer Vision(ICCV’98),1998 ofr Watermarking[C].In:Pine ICIP’O1,Greece。2001:498-501 (上接46页) 参考文献 0.O25 1.张雄.基于Bussgang性质的盲均衡算法的研究[D].硕士学位论文.太原: 步0・02 太原理工大学,2002 长0.015 2.张立毅,鲁瑞,王华奎等.摹于神经网络盲均衡算法的分析[』】.电子测 值量与仪器学报,2002;27(6):1867—1875 0.01 3.张卫国。杨向忠.模糊控制理论及应ffJ[M].西安:西北工业大学出版社, 0.o05 O 1 000 2000 2o01 迭代次数 4.Ramin pichevar.Vahid Tabataba Vaki1;.Channel Equalization Using (a)4PAM (b)8PAM Neurla Networks.Iran University of Science and Technology[C].In: 圈5 4PAM与8PAM步长曲线 IEEE International Conference on Personal Wireless Communications (ICPWC’99),1999:240-243 3结论 5.D N Gedard.Self-recovering equalization and earlier tracking in two— 本文提出了一种新的盲均衡算法,从计算机仿真结果可以 dimensional data communication systems[J].IEEE Trans on communl- 看出,利用模糊神经网络作为控制器控制盲均衡算法中的步长 cation,1980;28:1867 ̄1875 与传统CMA算法相比,收敛速度加快,误码率减小了。 6.赵雅兴,刘栋,张宁.一种适用于FPGA实现的盲均衡算法Ⅲ.通信学 (收稿日期:2oo5年9月) 报,2001;22(8):3-9 106 2006.12计算机工程与应用