A carregar...
Publicação
Kessel Run: exploring cooperative behaviours in a multiplayer BCI game
| Nome: | Descrição: | Tamanho: | Formato: | |
|---|---|---|---|---|
| 10.77 MB | Adobe PDF |
Autores
Orientador(es)
Resumo(s)
Apesar de terem como propósito original o restauro da função a portadores de deficiências motoras, as Interfaces Cérebro-Computador (BCI, do inglês Brain-Computer Interface) têm cada vez mais aplicações que vão para além de controlar o cursor de um computador ou mover uma cadeira de rodas. Com o recente avanço da tecnologia de electroencefalografia (EEG), cada vez mais portátil e económica, a investigação na área dos BCI tem nos últimos anos dado maior destaque às aplicações para utilizadores saudáveis, nomeadamente na área do entretenimento. BCI baseados em EEG estão gradualmente a ser mais usados até mesmo em jogos comerciais. Os videojogos do género multijogador são extremamente populares entre os jogadores, pelo que se torna bastante interessante olhar para os jogos multi-cérebro, isto é, jogos onde de uma ou outra forma a atividade cerebral de mais do que um utilizador é analisada e necessária para jogar o jogo. Num outro tópico de investigação, as medições de EEG são também usadas por neurocientistas na pesquisa convencional dos processos de tomada de decisão e raciocínio estratégico. Um dos paradigmas mais frequentemente utilizados para estudar a tomada de decisão _e o uso de dilemas da teoria de jogos jogados por uma ou duas pessoas. A teoria de jogos é aplicada a uma panóplia de áreas que vão desde a economia à psicologia, podendo naturalmente ser aplicável aos videojogos cooperativos ou competitivos. Conseguiremos extrair novos conhecimentos acerca da neurociência da tomada de decisão a partir de jogos BCI multijogador? E, por exemplo, será possível manipular a estratégia de um jogador fornecendo-lhe informação sobre o que vai na mente dos seus adversários? O objetivo desta dissertação é explorar os comportamentos cooperativos que ocorrem entre jogadores num jogo BCI multijogador, bem como enquanto jogam dilemas clássicos da teoria de jogos. Ao investigar medidas neurológicas correlacionadas com o raciocínio estratégico tais como os potenciais evocados (ERP, do inglês Event-Related Potentials) durante decisões cooperativas ou desertoras, procuramos aplicar os conhecimentos da pesquisa em tomada de decisão aos jogos digitais de classe comercial. Numa primeira etapa deste trabalho, foi desenhado e implementado um jogo BCI cooperativo baseado no paradigma SSVEP (do inglês Steady-State Visually-Evoked Potential) chamado Kessel Run. No jogo Kessel Run, dois jogadores devem trabalhar juntos de forma a pilotar uma nave espacial através de um campo de asteróides. O objetivo do jogo é finalizar uma corrida de 2 minutos sem perder todo o combustível, desviando-se de obstáculos e recolhendo bónus. O paradigma de interacção SSVEP foi implementado usando dois painéis LED externos, acoplados ao monitor, permitindo aos jogadores mover a nave para cima ou para baixo ao olhar para as luzes, a piscar a uma frequência de 15 e 12 Hz, respetivamente. Dado que uma das nossas principais motivações era desenhar um jogo BCI que não fosse simplesmente uma prova de conceito da tecnologia, mas também divertido para os jogadores, foram seguidos os requerimentos para um bom design de jogo. Desta forma, o jogo Kessel Run apresenta regras e objetivos claros, mantendo-se desafiante para os jogadores, com o desafio adicional de controlar o BCI. Para além disso, de forma a proporcionar a experiência cooperativa adequada, os dois jogadores tinham funções interdependentes ditadas pelas mecânicas de jogo, uma vez que um jogador só consegue controlar um motor da nave, e esta só pode subir ou descer quando ambos os jogadores a controlam ao mesmo tempo. Para os ajudar a alcançar a vitória mútua, os jogadores podem comunicar verbalmente para antecipar obstáculos e melhor controlar o jogo. Na segunda etapa deste trabalho, foi desenhado o jogo Dilemmas: um conjunto de cinco dilemas sociais iterados habitualmente utilizados na teoria de jogos. Em cada jogo, os jogadores enfrentam uma escolha entre duas opções: cooperar com o outro jogador ou desertar. A combinação de ambas as decisões resulta num de quatro desfechos possíveis, cada um com diferentes consequências para cada jogador, representados por uma pontuação numérica. Para cada jogo, um jogador ganha uma ronda quando recebe mais pontos do que o adversário, mas os jogadores tanto podem tentar maximizar a sua pontuação pessoal para derrotar o adversário como tentar maximizar a pontuação do grupo ao tomar decisões que beneficiam ambos os jogadores igualmente. O jogo Dilemmas tem o propósito de servir como um ambiente controlado que nos permita recolher dados da atividade cerebral durante decisões cooperativas e desertoras. Os participantes tomam as suas decisões recorrendo ao teclado e não há qualquer comunicação permitida, como a finalidade de reduzir artefactos devidos ao movimento e ruído no sinal. Foram analisados os ERPs no sinal de EEG marcado no tempo no momento que antecede a tomada de decisão e após a apresentação do desfecho de cada ronda do jogo. Após implementar ambos os jogos, foi preparada uma experiência onde 12 participantes (em 6 pares) foram convidados a usar toucas EEG enquanto jogavam Kessel Run, seguido de Dilemmas. A performance do BCI durante o Kessel Run foi calculado através de uma sessão de treino antes do jogo começar. A experiência de jogo e social dos participantes foi também estudada, com recurso a questionários validados preenchidos após cada sessão de jogo. Foi realizada a análise da atividade cerebral registada durante ambos os jogos, onde foram estudados os ERPs com origem no córtex medial frontal, nomeadamente as componentes P300 e a negatividade relativa a feedback (FRN, do inglês Feedback-Related Negativity). A performance do paradigma SSVEP no BCI foi mais baixa do que o esperado, alcançando apenas uma precisão máxima de 79% como precisão média geral de 55% para um nível de chance de 33%. Os dois fatores identificados que mais influenciaram este resultado foram a variabilidade na deteção da frequência de SSVEP entre sujeitos e a falta de escuridão na sala. A maioria dos participantes obteve piores resultados de classificação para a frequência de 15 Hz do que para 12 Hz, possivelmente devido a 12 Hz pertencer à banda alfa dominante. Embora funcione como prova de conceito para um jogo SSVEP multijogador, um paradigma mais intuitivo como o movimento imaginado pode ser mais adequado para o Kessel Run, permitindo aos jogadores manter o olhar no ecrã. A experiência reportada pelos jogadores foi de forma geral positiva, apesar da dificuldade em controlar o jogo com o paradigma SSVEP. Os jogadores não se sentiram muito competentes durante o jogo, mas de qualquer maneira atingiram um estado de Flow. Isto pode dever-se à estratégia colaborativa desenvolvida por alguns jogadores para contornar a má classificação SSVEP, em que o jogador com melhor controlo controlava a nave enquanto o companheiro dava direções. Na avaliação da presença social, os jogadores reportaram que empatizaram com o outro, em parte devido à necessidade de comunicar para ganhar o jogo. Dado que os jogadores se sentiram inclinados a trabalhar com o outro, podemos dizer que as regras de design de jogo cooperativo foram implementadas com sucesso e o jogo proporcionou uma experiência social positiva. No jogo Dilemmas, a presença social reportada pelos jogadores foi ligeiramente diferente, resultado da natureza contrastante do jogo. Neste jogo, o nível de familiaridade dos dois participantes em cada sessão influenciou fortemente a forma como jogaram. Participantes emparelhados com um desconhecido sentiram-se menos inclinados a cooperar, e tomaram uma abordagem mais competitiva ao jogo, sentindo menos empatia pelo outro. Os jogadores reportaram também mais sentimentos negativos durante o Dilemmas do que durante o Kessel Run, embora tal se deva talvez às rondas perdidas e não à interação com o companheiro. A estratégia tit-for-tat (olho por olho) foi a mais adoptada pelos jogadores, o que significa que começavam por cooperar e subsequentemente replicavam a decisão feita pelo adversário na ronda anterior.
No que respeita ao estudo de ERPs durante o jogo, começou por se analisar os dados recolhidos durante o Kessel Run. Os registos acabaram por ser demasiado ruidosos para se extrair alguma informação sobre os potenciais que antecedem a tomada de decisão. As mecânicas e comandos do jogo não favoreceram a recolha de dados EEG para esta análise, uma vez que os jogadores eram encorajados a falar e mover a cabeça para olhar para as fontes de luz de forma a controlar o jogo. A implementação de um paradigma de interação passivo pode possibilitar este estudo num jogo BCI. Por outro lado, foram identificadas com sucesso duas componentes ERP marcadas no tempo em relação à apresentação do desfecho no jogo Dilemmas: o P300 e a FRN. O ambiente mais controlado deste jogo facilitou a deteção de uma forte positividade na região medial frontal, para os canais Fc1, Fc2, Fz e Cz. Esta positividade corresponde às características da componente P300, uma deexão positiva no ERP, relacionada com o processamento de informação acerca de ganhos e perdas. O P300 foi observado entre 200 e 500 ms após a apresentação do desfecho dos jogos aos jogadores. A componente FRN foi também detetada, embora apenas nos ensaios em que os jogadores cooperaram e perderam nessa ronda. A FRN foi identificada de 200 a 250 ms após o estímulo visual (desfecho), correspondendo a situações em que os jogadores adotaram a estratégia tit-for-tat, particularmente comum entre participantes que não se conhecem. Um jogador que coopera e recebe um desfecho negativo (perde a ronda) tem maiores probabilidades de desertar na ronda seguinte, repetindo o comportamento prévio do adversário. Os resultados alcançados neste trabalho ajudam-nos a compreender a dificuldade em adquirir dados EEG durante uma experiência de jogo BCI ativa. Para atingir uma deteção adequada de ERPs durante um jogo, é necessário desenvolver algoritmos mais robustos de forma a ultrapassar a presença de artefactos. Todavia, as aplicações dos correlatos neuronais de tomada de decisão em jogos parecem promissoras, sobretudo em jogos sérios e jogos multijogador.
Traditional brain-computer interface (BCI) research has recently turned to applications for healthy users, such as games. Because electroencephalography (EEG) is a cheap, portable and popular way of accessing brain activity, EEG-based BCIs are gradually being more used even for commercial games. Multiplayer games are immensely popular among gamers, so it becomes interesting to look at `multi-brain games', that is, games where in one or other form the measured brain activity of more than one user is needed to play the game. On a different research topic, EEG measures are also used by neuroscientists in traditional decision-making and strategic reasoning research. One of the most common paradigms used to study decision making is to use game theory dilemmas played by one or two persons. Game theory is applied to a myriad of areas from economics to psychology, and can of course be applicable to cooperative or competitive video games. The goal of this dissertation is to explore the cooperative behaviors that happen between players in a multiplayer BCI game, as well as while playing classic game theory dilemmas. By looking at neural correlates of strategic reasoning such as event-related potentials (ERPs) during cooperative or defective decisions, we will try to bring decision-making research and insights to commercial grade digital games. We have divided this work's methodology into two parts: firstly, an original two player cooperative BCI game (Kessel Run) controlled with steady-state visually evoked potentials (SSVEP) was conceptualized and developed; secondly, a non-BCI game inspired by iterated social dilemmas was also developed. We have designed and set-up an experiment where participants played both games sequentially, and have collected EEG data during both gaming experiences, as well as the reported game experience and social presence from participant-filled questionnaires. Despite a lower than expected accuracy in the BCI paradigm used to control the game Kessel Run (maximum of 79% and 55% on average), participants adjusted and developed strategies to successfully navigate a spaceship together in a virtual environment, reporting a positive game experience. Studying ERPs while playing Kessel Run proved ineffective, due to the fast pacing of the game and movement artefacts caused by the SSVEP paradigm. However, in a more controlled setting like the game Dilemmas, we have successfully identified two components heavily linked to information processing and decision-making. A strong medial frontal positivity corresponding to the P300 component was observed between 200 and 500ms after the presentation of game outcomes to the player. In trials where players cooperated and lost the round, the feedback-related negativity (FRN) was also detected, as would be expected when participants fail to achieve a desired feedback. Designing a BCI game that employs the P300 paradigm might improve the success of merging decision-making neural correlates in a gaming experience. Never the less, the insights gathered in this study made us understand the difficulty of collecting EEG data during active BCI game play. Still, an interesting prospect would be to use a subject's particular brainwaves as a means to decode future decisions, and in that way improve collaboration in a game or team activity.
Traditional brain-computer interface (BCI) research has recently turned to applications for healthy users, such as games. Because electroencephalography (EEG) is a cheap, portable and popular way of accessing brain activity, EEG-based BCIs are gradually being more used even for commercial games. Multiplayer games are immensely popular among gamers, so it becomes interesting to look at `multi-brain games', that is, games where in one or other form the measured brain activity of more than one user is needed to play the game. On a different research topic, EEG measures are also used by neuroscientists in traditional decision-making and strategic reasoning research. One of the most common paradigms used to study decision making is to use game theory dilemmas played by one or two persons. Game theory is applied to a myriad of areas from economics to psychology, and can of course be applicable to cooperative or competitive video games. The goal of this dissertation is to explore the cooperative behaviors that happen between players in a multiplayer BCI game, as well as while playing classic game theory dilemmas. By looking at neural correlates of strategic reasoning such as event-related potentials (ERPs) during cooperative or defective decisions, we will try to bring decision-making research and insights to commercial grade digital games. We have divided this work's methodology into two parts: firstly, an original two player cooperative BCI game (Kessel Run) controlled with steady-state visually evoked potentials (SSVEP) was conceptualized and developed; secondly, a non-BCI game inspired by iterated social dilemmas was also developed. We have designed and set-up an experiment where participants played both games sequentially, and have collected EEG data during both gaming experiences, as well as the reported game experience and social presence from participant-filled questionnaires. Despite a lower than expected accuracy in the BCI paradigm used to control the game Kessel Run (maximum of 79% and 55% on average), participants adjusted and developed strategies to successfully navigate a spaceship together in a virtual environment, reporting a positive game experience. Studying ERPs while playing Kessel Run proved ineffective, due to the fast pacing of the game and movement artefacts caused by the SSVEP paradigm. However, in a more controlled setting like the game Dilemmas, we have successfully identified two components heavily linked to information processing and decision-making. A strong medial frontal positivity corresponding to the P300 component was observed between 200 and 500ms after the presentation of game outcomes to the player. In trials where players cooperated and lost the round, the feedback-related negativity (FRN) was also detected, as would be expected when participants fail to achieve a desired feedback. Designing a BCI game that employs the P300 paradigm might improve the success of merging decision-making neural correlates in a gaming experience. Never the less, the insights gathered in this study made us understand the difficulty of collecting EEG data during active BCI game play. Still, an interesting prospect would be to use a subject's particular brainwaves as a means to decode future decisions, and in that way improve collaboration in a game or team activity.
Descrição
Tese de mestrado integrado em Engenharia Biomédica e Biofísica, apresentada à Universidade de Lisboa, através da Faculdade de Ciências, 2017
Palavras-chave
Interface cérebro-computador Tomada de decisão Colaboração Videojogos Multijogador Teses de mestrado - 2017