Repository logo
 
No Thumbnail Available
Publication

Augmented reality in the field of visual arts

Use this identifier to reference this record.
Name:Description:Size:Format: 
TM_Rodrigo_Martins.pdf11.92 MBAdobe PDF Download

Abstract(s)

A Realidade Aumentada (RA) integra conteúdo digital interativamente com o ambiente físico em tempo real. A popularização dos dispositivos móveis globalmente pode ser atribuída ao aumento da capacidade de processamento e à melhoria dos sensores, tornandoos essenciais para comunicação, acesso à informação e diversas atividades diárias. Além disso, a integração de sensores como GPS, conexão sem fio, bússola, giroscópio, acelerómetro e câmaras de alta definição permitiu o desenvolvimento de aplicações mais avançadas, incluindo tecnologias de RA. No âmbito do Património Cultural, a RA é aplicada de diversas formas para ampliar a compreensão, preservação e interação com artefactos históricos. Essas ferramentas melhoram a experiência do usuário, proporcionando uma vivência mais imersiva, interativa e educativa, tornando-a mais memorável. Este projeto foi realizado em colaboração com a artista Ana Fonseca. O uso da RA nas artes plásticas é uma área ainda em desenvolvimento, estabelecendo bases para futuras pesquisas e inovações nesse campo específico. Devido à saturação do mercado com a abundância de opções disponíveis para os consumidores, empresas, locais turísticos e museus buscam inovação através da tecnologia. O uso crescente da RA nessas experiências culturais visa melhorar a entrega de informações aos turistas, tornando-as mais envolventes e explicativas, podendo impulsionar produtos e serviços premium. No turismo, a RA é valorizada por museus, promovendo uma experiência virtual intensificada para os visitantes, gerando disposição para pagar mais e estimulando o interesse em repetir experiências presenciais após interações virtuais cativantes. Na arte, a RA mantém a originalidade criativa, oferecendo experiências que combinam a realidade aumentada com a verdadeira essência dos conteúdos, criando interações genuínas e profundas, melhorando a compreensão e a exploração de obras de arte de forma educativa e personalizada. Um dos principais desafios na RA é o rastreamento, essencial para alinhar elementos virtuais com precisão no mundo real. Existem duas abordagens principais: rastreamento baseado em sensores, que utiliza tecnologias como ótica, magnetismo, acústica e inércia; e rastreamento baseado em visão, que emprega técnicas de visão computacional, incluindo métodos com e sem marcadores. A integração destes métodos, através de abordagens híbridas, reflete a evolução dinâmica do rastreamento de RA, permitindo experiências mais imersivas e contínuas. A RA na Web é uma opção emergente e multiplataforma em relação à RA móvel. No entanto, enfrenta desafios devido às limitações nas capacidades de rede e computação. Aplicações de RA baseadas em hardware são dispendiosas, enquanto as baseadas em software dependem do sistema operativo. As atuais implementações de RA na Web, incluindo abordagens baseadas em navegador e JavaScript, buscam um desempenho comparável ao nativo, mas enfrentam obstáculos de padronização e eficiência computacional. Os obstáculos para a adoção generalizada incluem capacidades de computação limitadas, atrasos de rede, restrições de bateria e falta de padronização. A terceirização da computação para a nuvem é uma solução potencial, mas introduz atrasos de comunicação e custos de implementação. Embora avanços em redes como o 5G possam melhorar a viabilidade da RA na Web, os custos elevados e as capacidades limitadas das redes atuais fazem da RA baseada em software uma escolha mais prática neste contexto. Diversas ferramentas de RA oferecem componentes para reconhecimento, rastreamento e renderização de conteúdo. Foram analisados SDKs de RA como Vuforia, Wikitude, ARCore e ARKit. Optou-se pelo Unity3D como a base do projeto, devido às suas capacidades multiplataforma e ao amplo suporte da comunidade. Após a análise, Vuforia foi selecionado para integração com Unity por permitir rastreamento com e sem marcadores, oferecer suporte a várias plataformas e ser mais acessível do que as outras opções, reduzindo assim os custos do projeto. Utilizou-se o Blender para a modulação 3D e para a redução de polígonos, garantindo compatibilidade com dispositivos móveis. Nas técnicas de rastreamento do projeto, utilizou-se o rastreamento sem marcadores do Vuforia, destacando o Ground Plane e Mid-Air Anchors. A tecnologia Fusion do Vuforia, incluindo VISLAM, forneceu um rastreamento adaptável, demonstrando bom desempenho em ambientes com alguns recursos visuais distintos. Além disso, implementou-se o rastreamento baseado em marcadores para garantir uma experiência imersiva e uniforme em todos os dispositivos móveis. Para dispositivos mais antigos, foi implementado o instant tracking, uma técnica que sobrepõe uma imagem semi-transparente sobre a imagem captada pela câmara do dispositivo. O utilizador alinha o conteúdo das duas imagens e toca no ecrã para iniciar a experiência. Esta técnica foi escolhida por integrar os dados de orientação recebidos do giroscópio, assegurando uma experiência suave e tornando a experiência acessível a todos, independentemente das especificações dos dispositivos. Na interação com ambientes virtuais, nomeadamente os objetos virtuais, foi utilizado o motor de física do Unity3D. O tema central deste projeto foi a justiça, demonstrando aos utilizadores a complexidade de alcançar uma justiça absoluta. Foram exploradas experiências de realidade aumentada divididas em navegação virtual e experiências estacionárias, com o objetivo de imersão dos utilizadores no tema da justiça através de interações inovadoras. Desenvolveuse uma experiência de navegação virtual, iniciada por um marcador, onde os utilizadores movimentam-se livremente, participando em atividades como a busca pela escala da justiça, simbolizando a procura pelo equilíbrio, e a participação em uma manifestação virtual, onde escolhem o seu senso de justiça e um objeto virtual “para levar para casa”. Além disso, foram desenvolvidas duas experiências estacionárias, onde os utilizadores alinhavam os dispositivos a objetos fixos no mundo real para ativar conteúdos virtuais: ”Monument Showcase”permite manipular a visão de um artista desenhado por Ana Fonseca, enquanto ”Justice Guess”desafia a associar vídeos a conceitos de justiça, promovendo uma reflexão sobre suas diversas interpretações. Esses grupos de experiências foram adaptados para diferentes capacidades de dispositivos, garantindo acessibilidade e desempenho. Cada experiência aborda um aspecto único da justiça, desde sua representação simbólica até ações que convidam à reflexão sobre seus princípios. A interface do utilizador foi cuidadosamente projetada para apoiar a interatividade, com instruções claras e elementos visuais que guiam os utilizadores. Isso inclui diálogos e sinais visuais para facilitar a compreensão e a interação nas atividades propostas. Este conjunto de experiências de RA utiliza o rastreamento sem marcadores (Mid-air anchors e Ground Planes), rastreamento com marca para determinar a orientação dos objetos, e vídeos em ecrã verde para criar interações simples. Foram realizados testes com utilizadores para avaliar a usabilidade da aplicação e compreender como os desafios foram interpretados nas experiências de RA e na navegação e interação com o mundo virtual. Os participantes completaram tarefas e forneceram feedback através de um questionário que abrangia detalhes demográficos, perguntas sobre aspectos específicos da aplicação e as questões do System Usability Scale. As sessões de teste ocorreram em locais diversos, com voluntários de diferentes origens. Os resultados indicaram um desempenho positivo nas tarefas, com os participantes refletindo sobre experiências relacionadas com a justiça. A pontuação SUS teve uma média de 68,75, sugerindo uma usabilidade satisfatória. No entanto, foram identificados desafios, como a necessidade de melhorar a usabilidade dos objetos, clarear a compreensão dos utilizadores e resolver problemas para uma experiência mais coesa e intuitiva. As respostas às perguntas abertas revelaram percepções para melhorias futuras, enfatizando a necessidade de uma narrativa mais eficaz, melhor orientação de interface e resolução de questões técnicas. De modo geral, os resultados foram promissores, destacando a facilidade de utilização da aplicação, mas apontando áreas para aperfeiçoamento.
The project delves into Augmented Reality (AR) applications, specifically targeting cultural and educational experiences by innovatively integrating virtual elements with real-world environments. Leveraging AR’s potential, the initiative aims to enhance user engagement with historical artifacts and art through immersive and interactive sessions. The theme of the app is justice, showing users that achieving true justice is hard. This project was a co-production with an artist, Ana Fonseca, that wants users to be challenged by this idea and come to terms with reality. This venture uses tracking technologies, including both marker-based and markerless approaches, to ensure seamless integration of digital content into the physical realm. Key development tools, such as Unity3D and Vuforia, were selected based on their robust multi-platform support and comprehensive tracking capabilities. Unity3D’s versatility and Vuforia’s proficiency in both marker-based and markerless tracking stand out, facilitating the creation of mobile-compatible 3D models and enriching AR experiences. The project focused on developing AR experiences in two main areas: virtual navigation and stationary interactions. Virtual navigation allows users to engage freely in activities designed to invoke reflection on justice, such as searching for a symbolic scale of justice or participating in a virtual demonstration. Stationary experiences, on the other hand, enable users to align their devices with real-world objects to trigger virtual content. User testing played a critical role in evaluating the application’s usability and the effectiveness of the AR challenges. Despite achieving satisfactory usability scores, the feedback highlighted areas for improvement, particularly in enhancing the user interface and narrative to foster a more intuitive and cohesive experience. This feedback underscores the project’s potential to significantly improve cultural and educational engagement through AR, indicating a promising direction for future enhancements and optimization efforts.

Description

Trabalho de Projeto de Mestrado, Engenharia Informática, 2024, Universidade de Lisboa, Faculdade de Ciências

Keywords

Realidade aumentada Virtualidade aumentada Rastreamento Património Cultural Artes plásticas Teses de mestrado - 2024

Pedagogical Context

Citation

Research Projects

Organizational Units

Journal Issue

Publisher

CC License