Coelho, Helder Manuel FerreiraGarcia-Marques, LeonelHenriques, Nuno Andrade da Cruz2020-11-162020-11-162020-09-162020-02-28http://hdl.handle.net/10451/44892The field of Cognitive Science is broader enough on the interdisciplinary study of the brain, mind, and intelligence with a scientific research community gaining momentum over the last few decades. Specifically, joining the two fields of psychology and artificial intelligence (AI) one may envision agents, embodied or not, human-like or wearable, with the ability to significantly change the way humans live. This research conceive the artificial agent as a non-anthropomorphic with adaptive empathy for human-agent interaction (HAI) synergy towards better companionship. Therefore, the main objectives of this research are (a) to build a predictive model for each human user on context-based emotional valence changes; and (b) to study the age, gender, and human behaviour neutrality and robustness of the artificial agent regarding the prediction ability. The context include geographically located data from sensors, text sentiment analysis, and human emotional valence self-report, all timestamped events, using a common mobile device such as a smartphone. Also, to analyse and discuss the results on how to leverage such a model to adapt interaction strategies in order to foster higher levels of empathy between a non-anthropomorphic agent and its interacting human. For these goals SensAI+Expanse is developed where SensAI acts as an embodied nearby agent and Expanse encompass the machine learning resources in efficient manner, i.e., a distributed, fault-tolerant, mobile and Cloud-based platform from scratch as a research tool to continuously, online, gather and process data towards automated machine learning (AutoML) and prediction. The study is designed with a methodology in place to avoid the Western, Educated, Industrialized, Rich, and Democratic (WEIRD) societies bias. This goal is accomplished by collecting data in the wild and worldwide by making use of the publicly accessible Google Play repository for the Android™ SensAI smartphone application. Eligible participants are diverse in age, gender, and behaviour on self-reporting emotional valence. In order to balance the gender distribution by age a dichotomy approach using age median (M = 34) is used. Regarding participation duration, two thirds (33/49) of the eligible individuals for analysis remain interacting for the required minimum of four weeks. The analysis of the results show evidence of significant behaviour differences between some age and gender combinations regarding self-reported emotional valence. Furthermore, the results from a comparison study between state-of-the-art algorithms revealed Extreme Gradient Boosting on average the best model for prediction (F1 = 0:91) with efficient energy use, and explainable using feature importance inspection. Moreover, the artificial agent remained neutral regarding human demographics and, simultaneously, able to reveal individual idiosyncrasies. Therefore, this research contributions include results with evidence, restricted to population and data samples available, of differences in behaviour amongst some combinations of age ranges versus gender. The main contribution is a novel platform for studies regarding human emotional valence changes in context. This system may complement and supersede (eventually) traditional long-list self-appraisal questionnaires. The SensAI+Expanse platform contributes with several parts such as a mobile device application (SensAI) able to adapt and learn in order to predict emotional valence states with high performance, a cloud computing (Cloud) service (SensAI Expanse) with ready-to-action analysis and processing modules towards AutoML. Additionally, smartphone sensing add a contribution for continuous, non-invasive and personalised health check. In the future, developments about human-agent relationships regarding affective interactions are foreseen. Further, the measurement of empathetic reactions and evaluating outcomes may be used to verify and validate health status thus improving care and significantly change the way humans live.O campo da ciência cognitiva é suficientemente amplo no estudo interdisciplinar do cérebro, mente, e inteligência com uma comunidade de pesquisa científica em crescimento nas últimas décadas. Especificamente, juntando os dois campos da psicologia e inteligência artificial, é possível antever agentes, incorporados ou não, como humanos ou abstratos numa pulseira, com a capacidade de mudar significativamente a maneira como vivemos. A investigação descrita neste documento concebe o agente não antropomórfico com empatia adaptativa por sinergia da interação humano-artificial no sentido de uma melhor companhia entre agentes. Assim, os principais objetivos desta pesquisa são (a) construir um modelo de previsão adaptada a cada utilizador humano sobre mudanças de valência emocional em contexto; e (b) estudar comparativamente à idade, género, e comportamento humano a neutralidade e robustez do agente artificial na sua capacidade de previsão. O contexto inclui dados geograficamente localizados de sensores, análise de sentimento em texto, e de relatórios de valência emocional pelos humanos, estes eventos incluem informação temporal, usando um dispositivo móvel comum, tal como um telemóvel. Adicionalmente, para analisar e discutir os resultados de como alavancar esse modelo para se adaptarem estratégias de interação, de modo a promover aumento da empatia entre um agente não antropomórfico e o seu utilizador humano em contacto. Para cumprir estes objetivos é desenvolvido o SensAI+Expanse onde SensAI atua como um agente corporizado e de proximidade, e o Expanse abrange os recursos de aprendizagem por computador (machine learning) de forma eficiente. Isto é, uma plataforma distribuída, tolerante ao erro, móvel e baseada na nuvem (Cloud) informática, criada de raiz como ferramenta de pesquisa para reunir dados continuamente, ligada, e os processar para a aprendizagem automatizada por computador (automated machine learning) e a previsão. O estudo é desenvolvido com uma metodologia específica para evitar o viés das sociedades educadas, industrializadas, ricas e democráticas (conhecido como WEIRD). Este objetivo é alcançado através da recolha de dados em campo e alargado ao mundo inteiro (potencialmente) fazendo uso do repositório Google Play acessível ao público como local de publicação da aplicação SensAI. Os participantes elegíveis são diversos em idade, género, e no comportamento ao informarem a valência emocional. No sentido de equilibrar adequadamente a distribuição de género por idade, uma abordagem dicotómica utiliza a mediana das idades (M = 34). Em relação à duração da participação, dois terços (33/49) dos indivíduos elegíveis para análise permaneceram em interação pelo mínimo necessário de quatro semanas. A análise dos resultados mostra evidência de diferenças significativas de comportamento entre algumas combinações de idade e género em relação à valência emocional informada pelos utilizadores. Adicionalmente, os resultados de um estudo comparativo entre os melhores algoritmos atuais revelaram o Extreme Gradient Boosting, em média, o melhor modelo para previsão (F1 = 0; 91) com uso eficiente de energia e explicável usando inspeção de importância de cada caraterística (e.g., localização específica). Além disso, o agente artificial permaneceu neutro em relação à demografia humana e, simultaneamente, capaz de revelar idiossincrasias individuais. Portanto, as contribuições desta pesquisa incluem resultados com evidência, restritos à população e amostras de dados disponíveis, de diferenças de comportamento entre algumas combinações de intervalos etários e género. A principal contribuição é uma nova plataforma para estudos sobre as mudanças de valência emocional nos humanos e em contexto. Este sistema pode complementar e substituir (eventualmente) os tradicionais questionários com listas longas de questões para autoavaliação. A plataforma SensAI+Expanse contribui com várias partes, tais como (a) uma aplicação de dispositivo móvel (SensAI) com a capacidade de se adaptar e aprender de modo a prever estados de valência emocional com elevado desempenho; e (b) um serviço de computação em nuvem (Cloud), o SensAI Expanse, capaz de análise no momento e com módulos de processamento para a aprendizagem automatizada por computador (automated machine learning). Além disso, a abordagem de recolha de dados usando os sensores do telemóvel (smartphone sensing) adiciona uma contribuição no para análise da saúde ou do bem-estar em contínuo, não invasivo, e personalizado. Num futuro próximo, prevê-se um desenvolvimento interessante sobre as relações humano-agente em relação às interações afetivas. Adicionalmente, a medição das reações empáticas e a avaliação dos resultados das mesmas podem ser usados para verificar e validar o estado de saúde, e assim melhorar os cuidados e mudar significativamente a forma de viver dos seres humanos.engEmoçõesCogniçãoInteligência artificial - Aspectos sociaisAgentes inteligentes (Programas de computador)Assistentes pessoais inteligentes (Programas de computador)Objetos cooperantes (Informática)Redes corporais sem fioInformática sensível ao contextoInteracção homem-computadorCiências cognitivasTeses de doutoramento - 2020doctoral thesis101566387