论文部分内容阅读
摘要：基于内容的图像检索方法是目前有效查询大量图片资料的关键技术，并广泛的应用于多媒体数据库中。本文阐述了一种基于颜色特征的图片检索技术，将颜色直方图或者颜色集作为颜色特征存入图片数据库中；然后描述了图像相似度的计算方法；最后介绍查询技术，用示例接口查询或者用户主观颜色查询。
关键词：多媒体数据库；基于颜色特征的检索；颜色直方图；示例接口查询
中图分类号：TP391.41 文献标识码：A文章编号：1009-3044(2007)04-11090-02
1 引言
基于内容的图像索引和检索技术 (CBIR)可自动提取每幅图像的视觉内容作为其索引，如颜色、文理和形状等。基于内容的图像检索系统具有与传统的基于文本的图像检索系统完全不同的构架。首先，图像的索引是依赖其视觉特征而非文本描述进行的，因此查询是根据视觉特征的相似度进行的。用户具有选择具有代表性的一幅或多幅示例图像来构造查询，然后有系统查找与示例图像在视觉内容上比较相识的图像，按照相似度大小排列返回用户。另外，基于内容的图像检索系统一般通过可视化界面和用户进行频繁的交互，便于方便的构造查询、评估检索结果和改进检索结果。
图1 图像检索过程
2 基于颜色的图像索引和检索技术
颜色特征是图像中使用的最直观的视觉特征，往往和图像中包含的物体或场景的关系十分密切。此外。颜色与其它特征相比，对图像本身的尺寸、方向，视觉的依赖性较小，具有较高的稳健性。
2.1 颜色的表示方法
2.1.1 颜色直方图
颜色直方图是最常见的颜色特征表示方法，它所描述的是不同色彩在整幅图像中所占的比例，却不关心每种色彩所处的空间位置，所以无法描述图像中的对象或物体。但是它特别适合描述那些难以进行自动分割的图像和不需要考虑物体空间位置的图像。
颜色直方图可以基于不同的颜色空间和坐标系。最常用的颜色空间是RGB 颜色空间，因为大部分的数字图像都是用这种颜色空间表达的。然而，RGB空间结构并不符合人们对颜色相似性的主观判断。因此，有人提出了基于 HSV 空间。HSV 颜色空间直接对应于人眼视觉特性三要素：色调H（Hue）、饱和度S（Saturation）和亮度 V（Value）。色调H表示不同的颜色如黄、红、绿，用角度0—360度来表示；饱和度S表示颜色的深浅如深红、浅红；亮度V表示颜色明暗程度。
2.1.2 颜色集
为支持大规模图像数据库的快速查找，Smith和 Chang提出了用颜色集(Color Set)作为对颜色直方图的一种二进制掩模。其方法是首先将 RGB 颜色空间的图像转化为视觉均衡的颜色空间（例如 HSV），并将该颜色空间划分成多个bin，再将图像划分为若干区域，每个区域用量化颜色空间的某个颜色分量来索引，从而将颜色表达成一个二进制的颜色索引集。查找图像的时候，比较不同颜色集之间的距离和色彩区域的关系。颜色集是二进制的特征向量，可以通过二分法来加快检索速度，对于大规模数据库索引有利。
2.2 颜色特征的提取
图2 颜色直方图的形成
首先，得到RGB颜色空间，再把其转换成HSV颜色空间。假设RGB(r, g, b)，HSV(h, s, v)利用公式：
其中：r, g, b∈[0,1]，h∈[0,60]，s, v∈[0,1]。
但是考虑到各个分量的取值范围很大，而人眼不可能有那么高的分辨率，因此有必要对HSV空间中的各个分量进行量化后计算直方图，也可以减少计算量，提高效率。把色调H分成8份，饱和度S和亮度V分成3份。并根据色彩的不同范围进行量化，量化后的色度，饱和度和亮度分别为H,S,V。
按照以上量化级，把3个颜色分量合成为一维特征矢量：L=HQsQv+SQv+V。其中，Qs和Qv分别是分量S和V的量化级数这里Qs=3，Qv=3。因此上式实际上为：L=9H+3S+V，这样，H,S,V 三个分量在一维矢量上分布开来。根据公式，L 的取值范围为[0,1,……,71]，计算L获得72柄(bin)的一维直方图。
3 图像相似度计算方法
在检索期间，首先为查询的图像找到一个直方图或从用户的查询中估计一个直方图，然后测量查询图像的直方图和数据库中图像之间的距离。可以从数据库中检索到的直方图距离比预定义的阈值少很多的图像，显示给用户。另外还可以对具有最小距离的前k个图像进行检索。以下有几种距离算法。
3.1 L1距离
B的特征矢量的值，N为维数。
3.2 L2距离（欧几里得距离）
B的特征矢量的值，N为维数。
3.3 直方图相交距离
度量直方图距离的另一种方法是直方图相交（histogram intersection）。假设 I 和 Q 是两个含有 N个 bin 的颜色直方图，则它们
4 用户接口查询技术
4.1 示例查询
当用户要查询图像时，哪怕是最简单的一幅景物，用户可能都难以用词句表述他的查询要求。人们经过研究发现，在这种情况下。提交查询要求的最好方式是“出示”与查询要求相近的例子，即通过示例进行查询。以一幅图像作为示例进行查询后，按相似度高低依次排列的返回图像。用户也可以通过鼠标在图像上描绘一个指定区域作为示例来提交查询。查询过程可以反复迭代。用户在返回的结果中浏览，并选择另一个示例，逐步求精和缩小查询范围，直到最终找到满意结果。
4.2 用户主观颜色查询
除了示例方式外，用户还可以根据视觉方面的主观颜色印象来提交查询，这种主观颜色就是图像的主色调，它能够代表一幅图像的基本概貌。如蓝色主色调往往是和大海或蓝天的图像相关。如果用户想要查找大海的照片，则可以指定蓝色作为主色调。经过实验表明，对用户指定的主色调进行适当地扩展来描述图像的主色调特征是非常有效的。
5 小结
本文描述了颜色特征是图像检索中常用的一种特征，另外还有形状和纹理特征等。一般来说，全局的颜色特征过于笼统，但在某些应用中可以有效地减少搜索范围。在检索算法中还可以加入一些图像颜色的分布信息。例如对图像进行分块，统计出各个子图像块的直方图，再依据上述方法分别计算出待查图像和数据库图像对应分块的相似度，然后根据这些相似度把从数据库中查询到的图片进行排序。在计算图像相似度除了文中描述的L1距离、欧几里得距离和直方图相交外，还有二次式距离，马氏距离等。实际上，利用用户指定的颜色进行查询时，直方图相交算法检索到的是与用户要求的局部颜色相匹配的图像，达到局部和目标区域检索的目的。
参考文献：
[1]李逸波.多媒体数据库技术[M].北京：机械工业出版社，2004（6）.
[2]章毓晋.图像工程（上册）图像处理与分析[M].北京：清华大学出版社，1999（2）.
[3]李文锋.图形图像处理与应用[M]. 北京：中国标准出版社，2006（6）.
[4]Fliekner etc. Query by image and video content: the QBIC system. IEEE Computer, 1995（9）.
[5]John R. Smith and Shih-Fu Chang. Tools and techniques for color image retrieval. In Proc. of SPIE: Storage and Retrieval for Image and Video Database.vol 2670, 1995.
本文中所涉及到的图表、注解、公式等内容请以PDF格式阅读原文。
关键词：多媒体数据库；基于颜色特征的检索；颜色直方图；示例接口查询
中图分类号：TP391.41 文献标识码：A文章编号：1009-3044(2007)04-11090-02
1 引言
基于内容的图像索引和检索技术 (CBIR)可自动提取每幅图像的视觉内容作为其索引，如颜色、文理和形状等。基于内容的图像检索系统具有与传统的基于文本的图像检索系统完全不同的构架。首先，图像的索引是依赖其视觉特征而非文本描述进行的，因此查询是根据视觉特征的相似度进行的。用户具有选择具有代表性的一幅或多幅示例图像来构造查询，然后有系统查找与示例图像在视觉内容上比较相识的图像，按照相似度大小排列返回用户。另外，基于内容的图像检索系统一般通过可视化界面和用户进行频繁的交互，便于方便的构造查询、评估检索结果和改进检索结果。
图1 图像检索过程
2 基于颜色的图像索引和检索技术
颜色特征是图像中使用的最直观的视觉特征，往往和图像中包含的物体或场景的关系十分密切。此外。颜色与其它特征相比，对图像本身的尺寸、方向，视觉的依赖性较小，具有较高的稳健性。
2.1 颜色的表示方法
2.1.1 颜色直方图
颜色直方图是最常见的颜色特征表示方法，它所描述的是不同色彩在整幅图像中所占的比例，却不关心每种色彩所处的空间位置，所以无法描述图像中的对象或物体。但是它特别适合描述那些难以进行自动分割的图像和不需要考虑物体空间位置的图像。
颜色直方图可以基于不同的颜色空间和坐标系。最常用的颜色空间是RGB 颜色空间，因为大部分的数字图像都是用这种颜色空间表达的。然而，RGB空间结构并不符合人们对颜色相似性的主观判断。因此，有人提出了基于 HSV 空间。HSV 颜色空间直接对应于人眼视觉特性三要素：色调H（Hue）、饱和度S（Saturation）和亮度 V（Value）。色调H表示不同的颜色如黄、红、绿，用角度0—360度来表示；饱和度S表示颜色的深浅如深红、浅红；亮度V表示颜色明暗程度。
2.1.2 颜色集
为支持大规模图像数据库的快速查找，Smith和 Chang提出了用颜色集(Color Set)作为对颜色直方图的一种二进制掩模。其方法是首先将 RGB 颜色空间的图像转化为视觉均衡的颜色空间（例如 HSV），并将该颜色空间划分成多个bin，再将图像划分为若干区域，每个区域用量化颜色空间的某个颜色分量来索引，从而将颜色表达成一个二进制的颜色索引集。查找图像的时候，比较不同颜色集之间的距离和色彩区域的关系。颜色集是二进制的特征向量，可以通过二分法来加快检索速度，对于大规模数据库索引有利。
2.2 颜色特征的提取
图2 颜色直方图的形成
首先，得到RGB颜色空间，再把其转换成HSV颜色空间。假设RGB(r, g, b)，HSV(h, s, v)利用公式：
其中：r, g, b∈[0,1]，h∈[0,60]，s, v∈[0,1]。
但是考虑到各个分量的取值范围很大，而人眼不可能有那么高的分辨率，因此有必要对HSV空间中的各个分量进行量化后计算直方图，也可以减少计算量，提高效率。把色调H分成8份，饱和度S和亮度V分成3份。并根据色彩的不同范围进行量化，量化后的色度，饱和度和亮度分别为H,S,V。
按照以上量化级，把3个颜色分量合成为一维特征矢量：L=HQsQv+SQv+V。其中，Qs和Qv分别是分量S和V的量化级数这里Qs=3，Qv=3。因此上式实际上为：L=9H+3S+V，这样，H,S,V 三个分量在一维矢量上分布开来。根据公式，L 的取值范围为[0,1,……,71]，计算L获得72柄(bin)的一维直方图。
3 图像相似度计算方法
在检索期间，首先为查询的图像找到一个直方图或从用户的查询中估计一个直方图，然后测量查询图像的直方图和数据库中图像之间的距离。可以从数据库中检索到的直方图距离比预定义的阈值少很多的图像，显示给用户。另外还可以对具有最小距离的前k个图像进行检索。以下有几种距离算法。
3.1 L1距离
B的特征矢量的值，N为维数。
3.2 L2距离（欧几里得距离）
B的特征矢量的值，N为维数。
3.3 直方图相交距离
度量直方图距离的另一种方法是直方图相交（histogram intersection）。假设 I 和 Q 是两个含有 N个 bin 的颜色直方图，则它们
4 用户接口查询技术
4.1 示例查询
当用户要查询图像时，哪怕是最简单的一幅景物，用户可能都难以用词句表述他的查询要求。人们经过研究发现，在这种情况下。提交查询要求的最好方式是“出示”与查询要求相近的例子，即通过示例进行查询。以一幅图像作为示例进行查询后，按相似度高低依次排列的返回图像。用户也可以通过鼠标在图像上描绘一个指定区域作为示例来提交查询。查询过程可以反复迭代。用户在返回的结果中浏览，并选择另一个示例，逐步求精和缩小查询范围，直到最终找到满意结果。
4.2 用户主观颜色查询
除了示例方式外，用户还可以根据视觉方面的主观颜色印象来提交查询，这种主观颜色就是图像的主色调，它能够代表一幅图像的基本概貌。如蓝色主色调往往是和大海或蓝天的图像相关。如果用户想要查找大海的照片，则可以指定蓝色作为主色调。经过实验表明，对用户指定的主色调进行适当地扩展来描述图像的主色调特征是非常有效的。
5 小结
本文描述了颜色特征是图像检索中常用的一种特征，另外还有形状和纹理特征等。一般来说，全局的颜色特征过于笼统，但在某些应用中可以有效地减少搜索范围。在检索算法中还可以加入一些图像颜色的分布信息。例如对图像进行分块，统计出各个子图像块的直方图，再依据上述方法分别计算出待查图像和数据库图像对应分块的相似度，然后根据这些相似度把从数据库中查询到的图片进行排序。在计算图像相似度除了文中描述的L1距离、欧几里得距离和直方图相交外，还有二次式距离，马氏距离等。实际上，利用用户指定的颜色进行查询时，直方图相交算法检索到的是与用户要求的局部颜色相匹配的图像，达到局部和目标区域检索的目的。
参考文献：
[1]李逸波.多媒体数据库技术[M].北京：机械工业出版社，2004（6）.
[2]章毓晋.图像工程（上册）图像处理与分析[M].北京：清华大学出版社，1999（2）.
[3]李文锋.图形图像处理与应用[M]. 北京：中国标准出版社，2006（6）.
[4]Fliekner etc. Query by image and video content: the QBIC system. IEEE Computer, 1995（9）.
[5]John R. Smith and Shih-Fu Chang. Tools and techniques for color image retrieval. In Proc. of SPIE: Storage and Retrieval for Image and Video Database.vol 2670, 1995.
本文中所涉及到的图表、注解、公式等内容请以PDF格式阅读原文。