A carregar...
Publicação
Interpretação da língua gestual portuguesa
| Nome: | Descrição: | Tamanho: | Formato: | |
|---|---|---|---|---|
| 7.32 MB | Adobe PDF |
Autores
Orientador(es)
Resumo(s)
Há em Portugal cerca de 30 mil pessoas que têm como primeira língua, a Língua Gestual Portuguesa (LGP). O Kinect é uma ferramenta de custo acessível que pode ser usado para o reconhecimento e tradução de gestos desta língua para a Língua Portuguesa, usando uma aplicação adequada.
Para o reconhecimento de gestos de LGP, efetuados por pessoas distintas, selecionámos um conjunto de features, que considerámos importantes, através de um pré-processamento e extração das características do sinal devolvido pelo Kinect. Suportada por estas características, construímos uma base de dados inicial, apenas com gestos estáticos do alfabeto em LGP, que foi submetida, como um conjunto de treinamento, à plataforma Weka, para construir e testar uma grande variedade de classificadores. Obtivemos um óptimo desempenho, a nível de taxa de sucesso, por dois dos algoritmos.
Numa segunda fase, construiu-se um protótipo, utilizando os dois melhores classificadores, capazes de reconhecer, em tempo real, palavras em datilologia (soletragem de palavras). Para isso, usaram-se duas técnicas de coarticulação dos gestos, que consistiram na verificação da estabilização da letra prevista pelo algoritmo, e no uso de regras de construção de palavras da língua portuguesa. Para melhor testar o protótipo utilizaram-se três modos diferentes de interação com o utilizador, o modo “easy” e o “ hard”, vocacionados para o reconhecimento de gestos, e o modo “direct” mais destinado à inserção rápida de gestos em datilologia na base de dados. Por último, o protótipo foi submetido a testes efetuados por pessoas da comunidade surda, e avaliado o seu desempenho em datilologia. Os dois classificadores que obtiveram maior sucesso no reconhecimento de poses estáticas, não se revelaram tão eficazes quanto à datilologia, devido às elevadas exigências da coarticulação. De qualquer forma, estes resultados são uma contribuição significativa lançando nova luz sobre melhorar o reconhecimento de gestos em tempo real e coarticulação.
In Portugal there are about 30 thousand people who use Portuguese Sign language (PSL) as their primary language. The Kinect is an affordable tool that can be used to recognize gestures and translate this language into the Portuguese written language, using an appropriate application. For gesture recognition in PSL, with different people, we selected a set of features, we considered important, through a pre-processing and feature extraction of the signal returned by the Kinect. Supported by these characteristics, we constructed an initial database, just with the PSL alphabet gestures, which was submitted as a training set to the WEKA platform in order to build and evaluate a wide range of classifiers. We had a great performance, in terms of success rate, by two of the algorithms. In a second phase, we built a prototype, using these two best classifiers capable of recognizing, in real time, words in dactylology (spelling words). For this, we used two different techniques of gestures co-articulation, which consisted in verifying the stability of the letter provided for by the algorithm, and in using Portuguese lexical rules. To better test the prototype we used three different modes of interaction with the user. “Easy” and “Hard” modes, oriented towards gesture recognition, and “Direct” mode, destinated to a fast insertion of gestures, in dactylology, on the database. Finally, the prototype was submitted to tests with dactylology, performed by people from the deaf community, and it’s performance evaluated. The two classifiers with the greatest success in recognizing isolated static poses, have not proved as effective in a dactylology due to the coarticulation’s high requirements. Anyhow, these results are a significant contribution shedding new light on how to improve real time gesture recognition and coarticulation.
In Portugal there are about 30 thousand people who use Portuguese Sign language (PSL) as their primary language. The Kinect is an affordable tool that can be used to recognize gestures and translate this language into the Portuguese written language, using an appropriate application. For gesture recognition in PSL, with different people, we selected a set of features, we considered important, through a pre-processing and feature extraction of the signal returned by the Kinect. Supported by these characteristics, we constructed an initial database, just with the PSL alphabet gestures, which was submitted as a training set to the WEKA platform in order to build and evaluate a wide range of classifiers. We had a great performance, in terms of success rate, by two of the algorithms. In a second phase, we built a prototype, using these two best classifiers capable of recognizing, in real time, words in dactylology (spelling words). For this, we used two different techniques of gestures co-articulation, which consisted in verifying the stability of the letter provided for by the algorithm, and in using Portuguese lexical rules. To better test the prototype we used three different modes of interaction with the user. “Easy” and “Hard” modes, oriented towards gesture recognition, and “Direct” mode, destinated to a fast insertion of gestures, in dactylology, on the database. Finally, the prototype was submitted to tests with dactylology, performed by people from the deaf community, and it’s performance evaluated. The two classifiers with the greatest success in recognizing isolated static poses, have not proved as effective in a dactylology due to the coarticulation’s high requirements. Anyhow, these results are a significant contribution shedding new light on how to improve real time gesture recognition and coarticulation.
Descrição
Tese de mestrado em Engenharia Informática, apresentada à Universidade de Lisboa, através da Faculdade de Ciências, 2012
Palavras-chave
Língua Gestual Portuguesa LGP Kinect Reconhecimento de gestos Interpretação Surdo Teses de mestrado - 2012