Eyecolors: identificação da cor dominante em fotografias

Abstract

A pesquisa de imagens numa base de dados pode ser executada de diversas formas com base no seu conteúdo. Seja através de características como cores globais, cores locais, cores dominantes, texturas ou combinações de várias destas características. Os sistemas que utilizam as cores dominantes para as pesquisas de imagens fazem normalmente a sua identificação usando a perspetiva do sistema, e não tendo em conta a perceção que as pessoas têm das cores presentes numa imagem. Neste trabalho temos como objetivo identificar as cores dominantes em imagens do ponto de vista dos utilizadores. Para tal, criamos um dataset de 100 imagens organizadas em 30 categorias e fizemos um estudo com utilizadores de modo a perceber que cores dominantes estes identificam nas imagens. Usamos ainda um eyetracker para determinar para que local na imagem as pessoas olham quando estão à procura das cores dominantes. Foram analisadas e agrupadas cores mencionadas pelos utilizadores, criados heatmaps, e fizemos algumas descobertas relativas à procura de cores dominantes através da perceção humana. Com base nestas informações desenvolvemos algoritmos para identificar as cores dominantes em imagens, do ponto de vista dos utilizadores. Um algoritmo simples que conta as cores dos pixéis na imagem, e um algoritmo de votos obtidos através de blocos nos quais a imagem foi dividida, que elegem cada as suas cores dominantes. A perceção humana é introduzida nos algoritmos com a adição de fatores aplicados às cores nas imagens, apurados através do estudo com utilizadores. É ainda proposto um modo de quantização das cores numa imagem para 12 cores de uma paleta utilizada em motores de busca populares. Com base numa análise aos algoritmos e aos fatores, identificamos a melhor solução usar o algoritmo com votos e com fator de cores puras a 10, que obtém uma taxa de acordo de 58,7% com os resultados retirados do estudo com utilizadores, e uma subida de 4,7% em relação ao algoritmo sem votos e sem fatores.

Image search in a database can be performed in different ways based on its content. Either through features like global colors, local colors, dominant colors, textures or a combination of several of these characteristics. Image search systems based on dominant colors often do the dominant colors identification through the system perspective, without considering the human perception of the colors in an image. Our objective in this work is to identify the dominant colors in images from the human point of view. To that end, we created a dataset of 100 images organized in 30 categories and we made a study to see what dominant colors users identify on each image. We also used an eyetracker to determine the regions in the images that people look to, while searching for dominant colors. We analyzed and grouped colors mentioned by users, we created heatmaps and made some discoveries about dominant colors search through human perception. Based on this information, we developed algorithms to identify the dominant colors in images from the users’ point of view. One is a simple algorithm that counts the colors on the image’s pixels, the other is a voting algorithm where the votes are obtained from blocks, which were formed through an image division, and each block elects their dominant colors. The human perception is obtained through the addition of factors applied to the colors on the images, identified during the initial study with users. We also propose a way of making quantization of the colors in an image to a smaller pallete of 12 colors often used in popular search engines. We tested the algorithms and factors and identified the voting algorithm with a 10 value for the factor of pure colors as the best solution. This configuration achieved a 58,7% accordance rate with the answers obtained on the users study, and a 4,7% growth from a simple algorithm without votes or factors.