A carregar...
Publicação
Towards identification of Octopus cyanea behaviour in its natural habitat
| Nome: | Descrição: | Tamanho: | Formato: | |
|---|---|---|---|---|
| 42.78 MB | Adobe PDF |
Autores
Resumo(s)
Octopuses are known to hunt together with fish and the quantification of such interspecific interactions has been performed with manual processing of single video recordings. Besides being a very time-consuming task it also does not provide a reliable way of registration for data analysis, especially in unstructured environments. Within this context, this dissertation aims to develop a semi-automated tracking system to observe and record cooperative behaviour events of a tropical invertebrate mollusc - the big blue octopus (Octopus cyanea). This dissertation also includes fieldwork for capturing stereoscopic videos of octopuses’ behaviours with a pair of underwater cameras, and extracted three-dimensional location information from them with an intelligent tracking system. A central component of the solution is an already existing tracking system specialized in structured subjects, with well-defined body parts, — the DeepLabCut (DLC). DLC was never used on octopuses, a kind of animal that easily changes shape, colour, and texture. Thus, a significant part of this dissertation is directed at the identification of parameter values for the tracking algorithm. A successful usage pipeline and parametrization of a neural network (of DLC) that automatically tracks an octopus in a variety of situations in several minutes of video was achieved, requiring only the manual labelling of a small part of its frames.
Octopus cyanea é uma espécie de polvos cujas capacidades de camuflagem evoluíram durante 270 milhões de anos no sentido de desenvolver uma técnica de caça bastante eficaz e evitar ser detectado e perseguido por predadores. Os polvos são conhecidos por mudar de cor, forma e textura consoante as condições ambientais e o contexto (alerta, ameaça ou alimentação). Estes animais têm também uma extraordinária flexibilidade corporal, permitindos passar por orifícios tão pequenos como 17mm Embora este animais sejam conhecidos por serem solitários exibem também comportamentos cooperativos com peixes em situação de caça. Alguns dos comportamentos que podem ser observados aquando da caça cooperativa são o comportamentoWeb Over, o comportamento Crawl, o comportamento Jump, e o Punch (um comportamento novo observado no decurso deste trabalho). Estes comportamentos notavelmente influencia a cor, a forma e a textura dos polvos, condições que precisam de ser tidas em conta aquando da análise de imagens e vídeos. Tanto quanto nos é dado a conhecer, não há ferramenta open-source que sejam capazes de seguir polvos de forma não intrusiva no seu ambiente natural. A maior parte dos trabalhos na literatura atual baseiam-se na interpretação e medidas feitas manualmente sobre vídeos singulares. O maior problema com este método é a sua morosidade e subjectividade. Tais métodos não fornecem uma forma fiável de registo e análise de dados. Ainda mais se a análise de depender da localização de marcos no ambiente ou na trajetória de sujeitos em ambientes não estruturados. Para além disso, as condições necessárias para observar um comportamento coletivo entre um polvo e peixes são muito difíceis de replicar em ambientes controlados como aquários. Para capturar tais comportamentos em vídeo, é necessário trabalhar no ambiente natural dos polvos, usando equipamento de mergulho e um equipamento de filmagem móvel. No que diz respeito aos sistemas identificação e seguimento foram desenhados para trabalhar em ambientes estéreis e estruturados onde existe um fundo claro e simples e o animal pode ser seguido é escuro e com uma forma elíptica. No entanto, no seu habitat natural, muitas das características usadas na visão por computador como a cor e a forma são altamente variáveis. Ao fornecer uma ferramenta semi-automática que acelera este processo, e que automaticamente segue polvos num ambiente tridimensional, permite-se uma reconstrução de trajetória e análise de comportamentos mais rápida e automática. A utilização de ferramentas tais a descrita neste documento poderá ajudar investigadores no estudo de animais marinhos no seu contexto natural, sem recurso a técnicas invasivas e onde a tecnologia de identificação e seguimento nunca foi aplicada. Esta solução permite que a análise do comportamento seja feita com um número muito mais reduzido de frames do que originalmente seria. Os desafios com que nos deparamos ao longo deste trabalho advêm de estarmos a trabalhar com um animal como o polvo, um animal que se desenvolveu ao longo de milhões de anos para conseguir enganar os sistemas de identificação natural dos predadores naturais. Estes mecanismos não só enganam os predadores como também enganam as redes neuronais. O principal objetivo deste trabalho é usar visão por computador para seguir um polvo (Octopus cyanea) no seu ambiente natural. O projeto onde este trabalho se encontra inserido tem por objetivo explorar o problema aberto de desenvolver um sistema semiautomático de seguimento que melhora o comportamento de análise de comportamento, para que este seja mais eficaz e rápido. Este objetivo é incorporado num sistema que reconstrói trajetórias de peixes e polvo, por sua vez este resultado pode ser usado como dado de entrada para uma análise de comportamento da dinâmica colaborativa do conjunto polvo, peixes. A visão final consiste num sistema completo cujos dados de entrada são vídeos tridimensionais subaquáticos e cujos resultados são etogramas representando o comportamento colaborativo de polvos e peixes. Esta dissertação foca-se na parte inicial da análise completa descrita acima, no desenho de uma pipeline e a parametrização de uma rede neuronal que segue automaticamente um polvo numa variedade grande de situações durante alguns minutos de vídeo, requerendo para tal apenas a anotação de uma pequena parte das suas imagens. É objetivo deste trabalho a identificação de ferramentas base, e a respetiva seleção e parametrização, para se atingir os objetivos. Como resultado, obtém-se uma ferramenta, ou a configuração de uma ferramenta existente que ajudará investigadores na área da análise dos comportamentos subaquáticos, em particular, do comportamento do O. cyanea. Como um outro produto deste trabalho espera-se disponibilizar uma base robusta para desenvolvimentos futuros de sistemas de análise comportamental de animais. No decurso deste trabalho foi efetuado trabalho de campo, onde foram utilizados dois tipos de câmaras subaquáticas, uma câmara tridimensional composta por duas câmaras num suporte fixo e uma câmara solta, potenciando vídeos com mais pormenor sobre os indivíduos. Foram registados 30 eventos isolados de comportamento cooperativo de caça, dos quais 8 foram anotados e analisados no decurso deste trabalho. Para cada um destes, a rede neuronal foi treinada e analisada tendo sido obtidos resultados que estãomuito perto do erro humano existente no processo de anotação de vídeos. Foram estudadas estratégias de anotação de vídeo que vão desde anotar centenas de imagens num vídeo até a anotação de poucas dezenas de imagens para vídeos de 2 a 30 minutos. É de notar que os fatores de confiança da rede claramente apontam para resultados com muita precisão, sendo que foi também analisada a progressão de aprendizagem da rede neuronal, analisando snapshots da rede em intervalos de algumas centenas de milhar de iterações. Este trabalho contribui para a comunidade científica com uma base de dados de vídeos raw e de vídeos manualmente anotados de polvos, de polvos a cooperar com diferentes espécies de peixes diferentes. Estes vídeos poderão ser utilizados para testar novas abordagens de identificação e seguimento automático de polvos, tanto como conjunto de dados de treino mas também como conjunto de validação de verdade absoluta. Além disto, contribuímos também com uma pipeline de processamento e análise de imagens e de vídeos. Esta pipeline é baseada na ferramenta DeepLabCut, desenhada para trabalhar com animais vertebrados em ambientes estruturados. São ainda apresentados neste documento o resultado da análise de vídeos em vários ambientes com a caracterização dos cenários onde se obtêm bons resultados e alertas para as situações onde os resultados são menos satisfatórios. Como trabalho futuro vamos querer aplicar a rede neuronal e a pipeline descrita acima aos peixes que fazem parte do comportamento cooperativo alvo. Com isto pretendemos obter a identificação e o seguimento de todos os envolvidos nesta interação e futuramente através de um outro software fazer a reconstrução 3D do fundo do mar onde é decorrida esta interação. Quando obtivermos ambos vamos sobrepor os movimentos do polvo e dos restantes intervenientes, os peixes, no fundo do mar. Pretendemos futuramente ser capazes de analisar o comportamento cooperativo como um todo e não como comportamentos individuais de cada animal. Pretendemos estudar quem é o leader da cooperação, se há preferência de indivíduos em detrimento de outros. Seria também interessante ser desenvolvido um software que fosse capaz de analisar os movimentos de todos os intervenientes e que tivesse como output final o comportamento de cada um dos intervenientes.
Octopus cyanea é uma espécie de polvos cujas capacidades de camuflagem evoluíram durante 270 milhões de anos no sentido de desenvolver uma técnica de caça bastante eficaz e evitar ser detectado e perseguido por predadores. Os polvos são conhecidos por mudar de cor, forma e textura consoante as condições ambientais e o contexto (alerta, ameaça ou alimentação). Estes animais têm também uma extraordinária flexibilidade corporal, permitindos passar por orifícios tão pequenos como 17mm Embora este animais sejam conhecidos por serem solitários exibem também comportamentos cooperativos com peixes em situação de caça. Alguns dos comportamentos que podem ser observados aquando da caça cooperativa são o comportamentoWeb Over, o comportamento Crawl, o comportamento Jump, e o Punch (um comportamento novo observado no decurso deste trabalho). Estes comportamentos notavelmente influencia a cor, a forma e a textura dos polvos, condições que precisam de ser tidas em conta aquando da análise de imagens e vídeos. Tanto quanto nos é dado a conhecer, não há ferramenta open-source que sejam capazes de seguir polvos de forma não intrusiva no seu ambiente natural. A maior parte dos trabalhos na literatura atual baseiam-se na interpretação e medidas feitas manualmente sobre vídeos singulares. O maior problema com este método é a sua morosidade e subjectividade. Tais métodos não fornecem uma forma fiável de registo e análise de dados. Ainda mais se a análise de depender da localização de marcos no ambiente ou na trajetória de sujeitos em ambientes não estruturados. Para além disso, as condições necessárias para observar um comportamento coletivo entre um polvo e peixes são muito difíceis de replicar em ambientes controlados como aquários. Para capturar tais comportamentos em vídeo, é necessário trabalhar no ambiente natural dos polvos, usando equipamento de mergulho e um equipamento de filmagem móvel. No que diz respeito aos sistemas identificação e seguimento foram desenhados para trabalhar em ambientes estéreis e estruturados onde existe um fundo claro e simples e o animal pode ser seguido é escuro e com uma forma elíptica. No entanto, no seu habitat natural, muitas das características usadas na visão por computador como a cor e a forma são altamente variáveis. Ao fornecer uma ferramenta semi-automática que acelera este processo, e que automaticamente segue polvos num ambiente tridimensional, permite-se uma reconstrução de trajetória e análise de comportamentos mais rápida e automática. A utilização de ferramentas tais a descrita neste documento poderá ajudar investigadores no estudo de animais marinhos no seu contexto natural, sem recurso a técnicas invasivas e onde a tecnologia de identificação e seguimento nunca foi aplicada. Esta solução permite que a análise do comportamento seja feita com um número muito mais reduzido de frames do que originalmente seria. Os desafios com que nos deparamos ao longo deste trabalho advêm de estarmos a trabalhar com um animal como o polvo, um animal que se desenvolveu ao longo de milhões de anos para conseguir enganar os sistemas de identificação natural dos predadores naturais. Estes mecanismos não só enganam os predadores como também enganam as redes neuronais. O principal objetivo deste trabalho é usar visão por computador para seguir um polvo (Octopus cyanea) no seu ambiente natural. O projeto onde este trabalho se encontra inserido tem por objetivo explorar o problema aberto de desenvolver um sistema semiautomático de seguimento que melhora o comportamento de análise de comportamento, para que este seja mais eficaz e rápido. Este objetivo é incorporado num sistema que reconstrói trajetórias de peixes e polvo, por sua vez este resultado pode ser usado como dado de entrada para uma análise de comportamento da dinâmica colaborativa do conjunto polvo, peixes. A visão final consiste num sistema completo cujos dados de entrada são vídeos tridimensionais subaquáticos e cujos resultados são etogramas representando o comportamento colaborativo de polvos e peixes. Esta dissertação foca-se na parte inicial da análise completa descrita acima, no desenho de uma pipeline e a parametrização de uma rede neuronal que segue automaticamente um polvo numa variedade grande de situações durante alguns minutos de vídeo, requerendo para tal apenas a anotação de uma pequena parte das suas imagens. É objetivo deste trabalho a identificação de ferramentas base, e a respetiva seleção e parametrização, para se atingir os objetivos. Como resultado, obtém-se uma ferramenta, ou a configuração de uma ferramenta existente que ajudará investigadores na área da análise dos comportamentos subaquáticos, em particular, do comportamento do O. cyanea. Como um outro produto deste trabalho espera-se disponibilizar uma base robusta para desenvolvimentos futuros de sistemas de análise comportamental de animais. No decurso deste trabalho foi efetuado trabalho de campo, onde foram utilizados dois tipos de câmaras subaquáticas, uma câmara tridimensional composta por duas câmaras num suporte fixo e uma câmara solta, potenciando vídeos com mais pormenor sobre os indivíduos. Foram registados 30 eventos isolados de comportamento cooperativo de caça, dos quais 8 foram anotados e analisados no decurso deste trabalho. Para cada um destes, a rede neuronal foi treinada e analisada tendo sido obtidos resultados que estãomuito perto do erro humano existente no processo de anotação de vídeos. Foram estudadas estratégias de anotação de vídeo que vão desde anotar centenas de imagens num vídeo até a anotação de poucas dezenas de imagens para vídeos de 2 a 30 minutos. É de notar que os fatores de confiança da rede claramente apontam para resultados com muita precisão, sendo que foi também analisada a progressão de aprendizagem da rede neuronal, analisando snapshots da rede em intervalos de algumas centenas de milhar de iterações. Este trabalho contribui para a comunidade científica com uma base de dados de vídeos raw e de vídeos manualmente anotados de polvos, de polvos a cooperar com diferentes espécies de peixes diferentes. Estes vídeos poderão ser utilizados para testar novas abordagens de identificação e seguimento automático de polvos, tanto como conjunto de dados de treino mas também como conjunto de validação de verdade absoluta. Além disto, contribuímos também com uma pipeline de processamento e análise de imagens e de vídeos. Esta pipeline é baseada na ferramenta DeepLabCut, desenhada para trabalhar com animais vertebrados em ambientes estruturados. São ainda apresentados neste documento o resultado da análise de vídeos em vários ambientes com a caracterização dos cenários onde se obtêm bons resultados e alertas para as situações onde os resultados são menos satisfatórios. Como trabalho futuro vamos querer aplicar a rede neuronal e a pipeline descrita acima aos peixes que fazem parte do comportamento cooperativo alvo. Com isto pretendemos obter a identificação e o seguimento de todos os envolvidos nesta interação e futuramente através de um outro software fazer a reconstrução 3D do fundo do mar onde é decorrida esta interação. Quando obtivermos ambos vamos sobrepor os movimentos do polvo e dos restantes intervenientes, os peixes, no fundo do mar. Pretendemos futuramente ser capazes de analisar o comportamento cooperativo como um todo e não como comportamentos individuais de cada animal. Pretendemos estudar quem é o leader da cooperação, se há preferência de indivíduos em detrimento de outros. Seria também interessante ser desenvolvido um software que fosse capaz de analisar os movimentos de todos os intervenientes e que tivesse como output final o comportamento de cada um dos intervenientes.
Descrição
Tese de mestrado, Informática, Universidade de Lisboa, Faculdade de Ciências, 2019
Palavras-chave
Octopus cyanea Rede Neuronal Identificação Automática DeepLabCut Video Subaquático Ambiente Natural Teses de mestrado - 2019