A carregar...
Publicação
sEMG-controlled VR serious gaming system for neurorehabilitation and embodiment quantification
| Nome: | Descrição: | Tamanho: | Formato: | |
|---|---|---|---|---|
| 127.34 KB | Adobe PDF |
Autores
Orientador(es)
Resumo(s)
A integração de sistemas de realidade virtual (RV) em diversas áreas da sociedade tem sido um dos
movimentos com maior tração dos últimos anos, uma verdadeira fronteira de inovação. O setor da saúde,
e nomeadamente na área de Neuroreabilitação, tem sido alvo de bastante investigação sobre as
possibilidades que tal junção poderá frutar.
Esta integração de RV e neuroreabilitação tem demonstrado resultados promissores, oferecendo um
método de terapia mais acessível, interativo e que fornece aos profissionais de saúde outra ferramenta
de controlo sobre o progresso dos seus doentes. A quantificação da sensação de aceitação de um membro
virtual pelo utilizador, nomeada por encarnação, mantem-se como um dos desafios persistentes
relacionados à terapia tradicional.
Os objetivos por detrás deste projeto incluem a compreensão do impacto da gamificação do processo
de neuroreabilitação, usando experiências imersivas, como jogos de RV. Além disso, procura-se
desenvolver uma métrica padronizada para quantificar a sensação de encarnação de um membro virtual.
O projeto aqui descrito pode ser segmentado em três principais tarefas: desenvolvimento de um
algoritmo classificador, em tempo real, de movimentos das mãos, através de sinais de eletromiografia
de superfície (sEMG); criação de um jogo de RV que promova neuroreabilitação, motricidade fina,
quantificação de “encarnação” do membro virtual e que assegure um ambiente de terapia seguro e
interativo para todos os doentes; planeamento de um protocolo experimental que envolva fases de
familiarização com o sistema de controlo; duas fases de treino (Treino 1 e Treino 2), com duração de
cinco e dez minutos, com promoção do controlo do membro virtual e interação com os objetos virtuais;
e três fases de teste (Teste 1, Teste 2 e Teste 3), cada uma com duração de três minutos, que possibilitem
quantificação do progresso realizado pelo doente tanto na vertente de neuroreabilitação, como na
vertente da sensação de encarnação do membro virtual.
Entre o sistema de RV e o algoritmo classificador dos gestos da mão é necessário estabelecer uma
sinergia que possibilite, pelo indivíduo, um controlo contínuo do membro virtual. Para além do
classificador, é também utilizado um tracker que informa o sistema de toda a informação sobre a
localização, e orientação, do membro do doente. A junção destes dois sistemas de controlo possibilita o
doente controlar um braço virtual, que por si possibilita a interação com o ambiente de realidade virtual.
O classificador de gestos da mão desenvolvido opera através de janelas sobrepostas com uma
duração de 300 ms e um deslocamento de 50 ms, permitindo um processamento contínuo e em tempo
real dos dados sEMG. As características extraídas destes dados são selecionadas através do processo de
Eliminação Recursiva de Características, incluindo a lista final de características: Desvio Padrão, Valor
Médio Absoluto, Raiz Quadrada Média e coeficientes de um modelo de autorregressivo de quarta ordem.
Além disso, o sinal é normalizado usando os dados de treino como referência, garantindo consistência
na amplitude dos dados. O classificador é capaz de identificar diversos gestos da mão: extensão e flexão
do punho, mão aberta e mão fechada, movimento de pinça e repouso. A recolha de dados é realizada
pelo Myo Armband a uma taxa de amostragem de 200 Hz, permitindo captura dos sinais sEMG. Além
disso, o sistema incorpora uma componente de controlo de força proporcional, que requer calibração
através da amplitude do envelope do sinal durante contrações voluntárias máximas. O algoritmo de
classificação utilizado é o Multilayer Perceptron, que demonstra alto desempenho, com uma média de
precisão de 99,7% em cenários offline e 89,7% em simulações de classificação em tempo real. Estes
resultados destacam a eficácia e robustez do classificador desenvolvido para permitir interações precisas
e em tempo real com dispositivos controlados por sEMG.
As fases de treino e de teste apresentadas no protocolo experimental são essenciais para verificar a
funcionalidade do sistema desenvolvido, nomeadamente as fases de teste. Durante estas o doente é
instruído a realizar uma combinação de duas tarefas: uma tarefa primária, que permite quantificar o progresso de neuroreabilitação e uma tarefa secundária, permite quantificar a sensação de encarnação
do membro virtual. A tarefa primária é também realizada durante as fases de treino e envolve a colocação
de cubos identificados numa estante, em prateleiras evidentemente identificadas. Na fase de treino os
cubos são identificados através de cores diferentes e os locais onde devem ser colocados apresentam
uma luz com a cor correspondente. Na fase de teste os cubos são identificados com letras, na face virada
para o doente, e a este é apresentado uma palavra, de seis letras, que serve como indicação da ordem na
qual deve colocar os cubos nas prateleiras identificadas com uma luz branca.
Ao contrário da tarefa primária, a tarefa secundária apenas é realizada durante as fases de teste. Esta
consiste na contagem, pelo doente, do número de flashes1
apresentados em vários pontos vermelhos
colocados no braço virtual e na face dos cubos que contém a letra que identifica cada cubo. A contagem
dos flashes nos pontos do braço ou dos cubos deve ser realizada separadamente. Os valores reportados
pelos doentes são posteriormente utilizados para a quantificação, por métodos objetivos, da sensação de
encarnação do membro virtual. A métrica resultante, Locus of Attention Index (LAI), é obtida através
de uma análise da zona experimental, entre o braço e a tarefa primária, sobre a qual o doente presta mais
atenção. Para além do LAI, é também apresentada uma versão modificada da mesma, Modified Locus
of Attention Index (modLAI), que sugere algumas modificações ao modo como se calcula o foco da
atenção do indivíduo.
Para além das fases de teste e de treino, que são realizadas de forma intercalada entre si, existem
também questionários que são apresentados ao doente no final de cada fase de teste. Estes questionários,
Virtual Embodiment Questionnaire (VEQ) e Modified Embodiment Questionnaire (MEQ), são formas
de obter mais informação sobre a experiência do utilizador durante a interação com o ambiente virtual.
O VEQ e o MEQ são instrumentos fundamentais para avaliar a perceção e a sensação de presença do
utilizador dentro do ambiente de RV, juntamente com a capacidade de controlo sobre o método de
interação com o ambiente virtual. Aplicados após cada fase de teste, estes questionários fornecem
insights valiosos sobre como o participante se sente em relação ao ambiente virtual, o nível de imersão
e sua conexão com o membro virtual.
Os resultados experimentais apresentam uma evolução positiva na proficiência do controlo do
membro virtual, avaliada pela quantidade de cubos colocados por minuto (Cube Placement Speed), ao
longo dos diferentes ambientes de teste e treino, sendo observado um aumento estatisticamente
significativo entre Teste 1 e Teste 3, e entre Treino 1 e Treino 2 (p = 0,001 e p = 0,012, respetivamente).
Ainda na vertente de neuroreabilitação é também verificada um aumento da capacidade de motricidade
fina, representada por um aumento estatisticamente significativo, no uso do gesto de pinça, entre a fase
de Teste 1 e Teste 3 (p = 0,006). Esses avanços tangíveis não apenas alcançam os objetivos terapêuticos
vislumbrados, mas também demonstram o potencial que sistemas terapêuticos de RV possuem.
Ao contrário dos resultados de reabilitação, a análise dos resultados das métricas de encarnação,
incluindo o LAI e o modLAI, não se observam da mesma forma os resultados esperados. Notavelmente,
são observados coeficientes de correlação, entre LAI e modLAI com as métricas dos questionários, com
bastante variação entre as diversas fases de teste que provocam incerteza sobre a sua utilidade. No
entanto, a análise ao longo do tempo revela uma imagem em evolução, com o LAI gradualmente a
emergir como um representante mais adequado da sensação de “encarnação” sobre o membro virtual,
nomeadamente em relação às métricas de posse e controlo sobre o braço. Porém, é importante notar que
são observadas correlações positivas entre Cube Placement Speed e as métricas de posse e controlo do
membro virtual, conforme avaliadas pelos questionários. Essa alta correlação enfatiza a relação direta
indica que à medida que os participantes têm maior facilidade no controlo do braço virtual, também
relatam uma maior sensação de posse e controlo sobre o membro virtual.
The gamification of learning processes, particularly in rehabilitation using immersive Virtual Reality (VR) gaming, has shown promise. This project involves creating an online hand gesture classification system using surface electromyography (sEMG) signals in conjunction with a VR game. This system aims to enhance rehabilitation, refine fine motor skills, and quantify embodiment. The hand gesture classifier utilizes overlapping windows (length = 200 ms; shift = 50 ms) to ensure online sEMG data processing, which is collected at a 200 Hz sampling rate using the Myo Armband. Feature selection, through Recursive Feature Elimination, resulted: Standard Deviation, Mean Absolute Value, Root Mean Square, and Auto-Regressive coefficients. The Multi-Layered Perceptron classifier can identify six hand gestures: wrist extension/flexion; open/closed hand; pinch; and rest. The experimental protocol alternates between two Training and three Testing phases, to practice and test virtual limb control, respectively, with the latter also realizing embodiment quantification, through Locus of Attention Index (LAI), Modified Locus of Attention Index (modLAI) and embodiment questionnaires, the Virtual Embodiment Questionnaire and Modified Embodiment Questionnaire. The experimental results show a significant improvement in virtual limb control proficiency, evidenced by Cube Placement Speed, between Test 1 and 3 (p = 0.001) and between Train 1 and 2 (p = 0.012) . Additionally, fine motor skills, represented by pinch usage, also show a statistically significant increase from Test 1 to 3 (p = 0.006). These advancements underscore the potential of VR-based therapeutic systems. Contrary to rehabilitation results, the analysis of LAI and modLAI, does not exhibit the expected patterns. Notably, inconsistent correlations between these and questionnaire metrics raise uncertainty about their utility. Importantly, positive correlations between Cube Placement Speed and ownership/control metrics, from the questionnaires, emphasize the direct relationship between proficiency in virtual limb control and a greater sense of ownership and control over the virtual limb.
The gamification of learning processes, particularly in rehabilitation using immersive Virtual Reality (VR) gaming, has shown promise. This project involves creating an online hand gesture classification system using surface electromyography (sEMG) signals in conjunction with a VR game. This system aims to enhance rehabilitation, refine fine motor skills, and quantify embodiment. The hand gesture classifier utilizes overlapping windows (length = 200 ms; shift = 50 ms) to ensure online sEMG data processing, which is collected at a 200 Hz sampling rate using the Myo Armband. Feature selection, through Recursive Feature Elimination, resulted: Standard Deviation, Mean Absolute Value, Root Mean Square, and Auto-Regressive coefficients. The Multi-Layered Perceptron classifier can identify six hand gestures: wrist extension/flexion; open/closed hand; pinch; and rest. The experimental protocol alternates between two Training and three Testing phases, to practice and test virtual limb control, respectively, with the latter also realizing embodiment quantification, through Locus of Attention Index (LAI), Modified Locus of Attention Index (modLAI) and embodiment questionnaires, the Virtual Embodiment Questionnaire and Modified Embodiment Questionnaire. The experimental results show a significant improvement in virtual limb control proficiency, evidenced by Cube Placement Speed, between Test 1 and 3 (p = 0.001) and between Train 1 and 2 (p = 0.012) . Additionally, fine motor skills, represented by pinch usage, also show a statistically significant increase from Test 1 to 3 (p = 0.006). These advancements underscore the potential of VR-based therapeutic systems. Contrary to rehabilitation results, the analysis of LAI and modLAI, does not exhibit the expected patterns. Notably, inconsistent correlations between these and questionnaire metrics raise uncertainty about their utility. Importantly, positive correlations between Cube Placement Speed and ownership/control metrics, from the questionnaires, emphasize the direct relationship between proficiency in virtual limb control and a greater sense of ownership and control over the virtual limb.
Descrição
Tese de Mestrado, Engenharia Biomédica e Biofísica, 2023, Universidade de Lisboa, Faculdade de Ciências
Palavras-chave
Neuroreabilitação Realidade Virtual Classificação de Gestos da Mão Quantificação de Encarnação Eletromiografia de Superfície Teses de mestrado - 2023