Using supervised machine learning to quantify cleaning behaviour

Oliveira, Raúl Afonso Castelhano de

http://hdl.handle.net/10400.5/96689

Use this identifier to reference this record.

Name:	Description:	Size:	Format:
TM_Raúl_Oliveira.pdf		1.78 MB	Adobe PDF	Download

Send Feedback

Authors

Oliveira, Raúl Afonso Castelhano de

Advisor(s)

Paula, José Ricardo

Garcia, Nuno Cruz

Abstract(s)

Os bodiões-limpadores (Labroides dimidiatus) são conhecidos pela sua função de limpeza nos recifes de coral, onde inspecionam e interagem com peixes clientes, onde removem e alimentam-se de ectoparasitas. Estes peixes limpadores chegam a interagir com mais de 2000 clientes por dia, e algumas clientes procuram os limpadores até 145 vezes por dia. O comportamento de limpeza abrange uma variedade de atividades, incluindo mordidas de limpeza, sacudidelas por parte no cliente, estimulação tátil, perseguição por parte do cliente, danças publicitárias do limpador, punição e manipulação. Estas atividades refletem a motivação de limpeza e a qualidade da interação. O Labroides dimidiatus, um bodião limpador do Indo-Pacífico, é uma das espécies de peixes limpadores mais estudadas no que toca a interações aquáticas mutualísticas. Este peixe serve como modelo para a investigação sobre o desenvolvimento da cooperação interespecífica, visto ser um peixe essencial para o funcionamento dos sistemas de recife de coral. As análises destas interações interespecíficas têm sido tradicionalmente realizadas processando manualmente gravações de vídeo. No entanto, este método é demorado e pode não ser confiável devido à variação entre observadores e à fadiga devido às longas horas analisando gravações de vídeos, portanto, alguns jornais exigem uma análise de interobservadores para validar a análise. À medida que que softwares de rastreamento automático e classificação comportamentais estão se tornando cada vez mais importantes para estudos de comportamento animal (incluindo humanos, ratos e aves), há a necessidade de ferramentas open-source que possam rastrear e quantificar as interações de limpeza. Tanto quanto nos é dado a conhecer, não existem tais ferramentas de open-source que seja capaz de rastrear os peixes e classificar estas interações de limpeza. As ferramentas presentes na literatura, maioritariamente envolver espaços bidimensionais – geralmente ratos, moscas, peixes – por outro lado, parte da literatura que se foca em espaços tridimensionais, trabalham com animais da mesma espécie. Devido à inovação do estudo, a implementação do projeto apresenta diversos desafios significativos por si só. Os problemas incluem desde início a recolha de dados e a gravação de vídeos adequados para o nosso objetivo, neste contexto, algumas variáveis precisam ser abordadas. As variações no tamanho dos Labroides dimidiatus e de seu cliente de aquário para aquário, a disposição do aquário, as variações de luz entre aquários, o facto de estarmos a trabalhar com um espaço tridimensional, serem duas espécies diferentes, com formas relativamente distintas, e por fim, a própria forma do peixe. Todos estes aspetos são algo que vêm dificultar todo o nosso trabalho, isto porque se não conseguirmos ter um modelo que seja capaz de rastrear os peixes, identificando os pontos desejados de forma precisa, não se conseguirá prosseguir para a parte da classificação comportamental. O principal objetivo desta tese é utilizar ferramentas de aprendizagem de automática para criar um sistema semiautomático de rastreamento e identificação para interações de limpeza de Labroides dimidiatus. Ao automatizar procedimentos manuais trabalhosos, este sistema procura agilizar o processo de análise, mantendo a fiabilidade dos dados. Além disso, os dados provenientes do sistema de rastreamento semiautomático serão utilizados para um algoritmo projetados para analisar com foco específico as interações mutualísticas. Ao integrar técnicas de aprendizagem automática no fluxo de trabalho de análise, esta tese procura aumentar a eficácia e rapidez da investigação em ecologia marinha. Inicialmente é necessário identificar ferramentas atuais, parametrizar e adaptar com o objetivo de poder rastrear o movimento das duas espécies de peixes. Para esta tarefa, decidimos então usar a ferramenta DLC (DeepLabCut), a qual é uma ferramenta semiautomática de rastreamento animais. Os dados coletados serão então utilizados num algoritmo para analisar interações interespecíficas. Como resultado, forneceremos uma ferramenta (ou uma definição de configuração para uma ferramenta já existente) que auxiliará os investigadores etólogos que estudam bodiões-limpadores, em particular o Labroides dimidiatus. Neste trabalho foram usadas duas câmaras por aquário, uma camara que grava a parte frontal e outra que grava a parte superior, para que possamos replicar uma gravação tridimensional, potenciando assim a informação obtida pelas gravações dos vídeos. Foram utilizados 6 aquários diferentes com diferentes indivíduos. Visto termos dois ângulos diferentes de câmaras, foram treinadas duas redes neuronais distintas e posteriormente analisadas, obtendo resultados bastante positivos com taxas de erro significativamente baixas. Posteriormente, estes dados foram implementados no algoritmo que tem por base a distância entre os peixes e o tempo que passam perto um do outro. Para calcular a distância, além de diferentes distâncias, foram também testadas diferentes estratégias de medição da distância entre os peixes, que tinha por base o uso de diferentes pontos de referência para calcular a distância. Apesar de não termos conseguido diferenciar os diversos tipos de interações mutualísticas, focamo-nos em diferencias interação de não interação. Os resultados obtidos à primeira vista não são os melhores, mas, contudo, após uma melhor reflexão, chegamos à conclusão que é um excelente passo para a automatização da classificação de interações. O algoritmo com os melhores parâmetros para o nosso estudo, conseguiu identificar 90% das interações totais dos vídeos usados no estudo. Contudo, classificou aproximadamente de 15% das não interações como interações. Apesar de parecer um erro elevado, o algoritmo classificou somente 25% da duração total dos vídeos, como interações. Com isto em mente, mesmo que seja preciso uma verificação por parte de uma pessoa, esta verificação seria no máximo 25% do tempo utilizado caso tivesse que manualmente analisar os vídeos por completo. Este trabalho contribui para a comunidade científica com uma base de dados de vídeos raw e vídeos manualmente anotados de interações mutualísticas de limpeza. Estes vídeos poderão ser utilizados para testar diversas abordagens de rastreamento ou de classificação comportamental, tanto como conjunto de dados de treino, mas também como conjunto de validação de verdade absoluta. Como trabalho futuro, seria necessário aumentar a base de dados, visto ter sido possível com uma porção total dos vídeos disponíveis. Posteriormente seria interessante passar de um ambiente controlado como os aquários no laboratório, para um ambiente natural. No entanto, esta mudança apresentaria alguns obstáculos, principalmente no que diz respeito à colheita e análise de dados. O desenvolvimento de metodologias capazes de rastrear e analisar interações em ambientes de recife exigiria técnicas inovadoras que incluam câmaras subaquáticas, algoritmos de rastreamento mais avançados e técnicas de processamento de dados robustas. A colaboração com especialistas em biologia marinha, visão computacional e aprendizagem automática poderia avançar ainda mais no desenvolvimento de ferramentas automatizadas de rastreamento e classificação adaptadas especificamente para o estudo de interações mutualísticas em ecossistemas de recifes de coral. Ao aproveitar a experiência interdisciplinar e os avanços tecnológicos, a investigação futura pode continuar a expandir os limites do conhecimento em ecologia marinha e análise do comportamento.

Cleaner fish are known for their cleaning activities, and the quantification of such interspecific interactions has been done manually using video recordings. Being a very timeconsuming task, it is prone to human classification error due to the long analysis time of the video. Besides that, the classification will range from observer to observer. Within this context, this dissertation aims to develop a semi-automated tracking system to observe and record the movement of the cleaner fish (Labroides dimidiatus), and its client fish (Acanthurus leucosternon) in a 3-dimensional space laboratory setting, followed by the creation of an algorithm that, with this tracking data, automatically classifies the mutualistic interactions. For the semi-automated tracking system, we used a deeplearning tool specialized in structured subjects, with well-defined body parts, the DeepLabCut (DLC). To the extent of our knowledge, DLC has never been deployed in a multi-fish-species setting. We managed to create a model that reliably tracks both fish with low error. Moreover, we designed an algorithm that successfully detects cleaning interactions with 90% of accuracy. Although the algorithm classified approximately 15% of the non-interactions as interactions, this means that in our case, the algorithm classified a total of 25% of the videos as interactions, meaning that the algorithm was able to reduce the total duration of the videos in 75%, reducing the human labour to approximately 25%.