A carregar...
Projeto de investigação
Sem título
Financiador
Autores
Publicações
Implementação de soluções para confiabilidade de dados em redes de sensores sem fios
Publication . Penim, João Miguel Mendes; Costa, António Casimiro Ferreira da,1968-; Ferreira, Pedro Miguel Frazão Fernandes
Redes de sensores sem fios consistem num número variado de dispositivos eletrónicos (nós) que realizam monitorização de factores físicos ou ambientais. Dependendo do tipo de sensor acoplado ao nó, este pode executar inúmeras medições, tal como, temperatura, pressão, movimentos, entre outros. Estes dispositivos estarão sempre sujeitos a interferências devido a condições externas ambientais ou humanas, levando os sensores a relatar medições erradas tornando os relatórios não confiáveis. Quando estas medições inesperadas são produzidas, é necessário detectá-las e identificá-las em tempo real. Para tal serão combinadas diversas técnicas de redundância e fusão de dados que, em conjunto, permitirão melhorar a qualidade da monitorização. O trabalho desenvolvido para esta dissertação concentra-se sobre o domínio dos sistemas ciber-físicos e está incluído no projecto AQUAMON. Este projecto tem como objectivo principal o desenvolvimento de uma plataforma de recolha e tratamento de dados de sensores aquáticos. A monitorização contínua de ambientes aquáticos usando sensores de água é importante para diversas aplicações relacionadas com prevenção de acidentes, recursos hídricos e gestão da aquicultura e actividades recreativas. Portanto, é fundamental garantir a qualidade dos dados de monitorização para evitar falsos alarmes ou ignorar eventos relevantes. Este trabalho irá concentrar-se na implementação de uma plataforma de acordo com uma arquitectura previamente definida, denominada de ANNODE. Esta arquitectura utiliza técnicas de Aprendizagem Automática, mais especificamente Redes Neuronais, com o intuito de criar previsões, medir a qualidade destas, detectar falhas e corrigi-las, em ambiente off-line. No entanto o foco deste trabalho, não é apenas a implementação desta arquitectura, mas sim a modificação desta permitindo utilizá-la num ambiente on-line, possibilitando o processamento de medições em tempo-real, mantendo todos os aspectos centrais anteriores. Como será possível ver nos capítulos seguintes, este trabalho obteve resultados positivos e comparando-os com a arquitectura original observaram-se melhorias.
Integration of multiple data sources and dashboard for a remote monitoring system
Publication . Sousa, Inês Silva; Cecílio, José Manuel da Silva; Costa, António Casimiro Ferreira da
Manter um bom nível de qualidade da água é essencial para a preservação da fauna e flora aquática,
bem como de todos os animais e organismos que dela depende. Com a atual escassez de água e com
os maiores níveis de poluição da mesma, é crucial monitorizar os níveis de qualidade da mesma. A
Internet das Coisas (IoC) e as redes de sensores sem fios (RSSF) surgem como algumas das ferramentas
fundamentais e mais utilizadas em sistemas que monitorizam a qualidade da água. As RSSF são redes
com sensores dedicados que detetam fenómenos ou eventos específicos e têm sido utilizadas para monitorizar remotamente vários ambientes aquáticos como rios, costas, lagos e baías. Possuem a vantagem
de fornecer dados em tempo-real, o que é vital para alertar os sistemas de emergência ou as autoridades
em caso de situações atípicas.
Uma vez que as RSSF estão constantemente a ser afetadas por fatores físicos ou ambientais que
podem criar incoerências nos dados recolhidos a fim de fornecer a fiabilidade necessária, essas soluções
necessitam de ser apoiadas por plataformas que detetam dados defeituosos ou até a omissão dos mesmos.
Os dados recolhidos pelos sensores podem sofrer irregularidades devido a mudanças súbitas no estado
da água, graças a um defeito no hardware do sensor, grandes rajadas de vento, objetos que obstruem a
ligação entre o sensor e a gateway, para onde envia os seus dados, entre outros fatores físicos.
Com intuito de ajudar os gestores a analisar os dados em tempo real, a utilização de interfaces intuitivos que exibam facilmente todas as falhas que são detetadas e as suas respetivas correções são necessárias. Gráficos e diagramas permitem apresentar diferentes tipos de dados sem deixar o utilizador perdido
com grandes porções de dados.
No entanto, apesar de ser um problema bastante atual e cada vez mais importante, é escasso o número
de soluções existentes para resolver a falta de monitorização de dados em ambientes aquáticos. SmartCoast foi um projeto inovador nos anos 2000 que recolhia dados de um sensor alocado em Cork, Irlanda.
Consistia numa RSSF que monitorizavam a qualidade da água naquele local. Contudo, este projeto não
tinha como garantir que os dados que recolhia eram válidos e por isso necessitava de um processo que
os avaliasse constantemente.
Os projetos mais relevantes em Portugal que se seguiram fazem parte de um esforço coletivo do
Laboratório Nacional de Engenharia Civil (LNEC) que elaborou várias iterações com o mesmo cerne
até chegar a uma plataforma de desenvolvimento de software, a framework ANNODE. O objetivo final
seria a implementação de um sistema capaz de receber e processar dados em tempo real garantindo a
qualidade dos dados e consequentemente, a garantia da fiabilidade dos dados da qualidade da água onde
o sistema estaria ativo.
Por vezes os ambientes aquáticos possuem condições adversas que podem influenciar a recolha de
dados de forma coerente. Desta forma, é necessário garantir a qualidade dos dados que recebemos e que processamos. Este projeto dá continuidade ao trabalho realizado pelo colega J. Penim [37] onde a
framework ANNODE foi estendida e melhorada de modo a proceder à recolha de dados em tempo real.
A framework foi desenvolvida de modo a receber dados e detetar outliers, drifts e offsets com a ajuda de
redes neuronais. Esta faz previsões com base em valores anteriormente recolhidos. De seguida, o valor
recebido passa por um bloco de qualidade onde o erro quadrático é calculado para verificar se existe
ou não uma alta probabilidade do valor recebido ser incorreto. Em caso afirmativo, o valor recebido é
substituído pelo valor previsto. Desta forma, a framework deteta outliers, drifts e offsets corrigindo-os
com valor de acordo com o esperado.
A framework ANNODE oferece capacidades para processar dados de um único sensor (fonte de
dados) ou de várias fontes de dados. No entanto, a framework mostra várias limitações quando uma
única fonte de dados é utilizada, uma vez que não existem possibilidades de estabelecer correlações de
dados entre sensores. Esta framework foi também implementada para um conjunto de dados específico,
os dados do Saturn Observatory Network, o que impossibilita o uso de outros conjuntos de dados.
No contexto desta tese, e tendo em conta a necessidade de plataformas deste tipo para lidar com
dados provenientes de RSSF, uma nova versão da framework foi desenvolvida com novos mecanismos
de maneira a ser mais útil nos cenários de monitorização remotos. Como complemento à framework
existente, uma estrutura será implementada com o objetivo de dar apoio à framework e a outros serviços
importantes a desenvolver como uma interface gráfica.
Assim, os objetivos delineados para esta tese consistem no melhoramento funcional da framework,
uma nova organização estrutural para melhor compreensão da mesma, uma implementação de uma API
e o desenvolvimento de raiz de um dashboard de maneira a integrar todos os componentes da plataforma
numa interface gráfica e acessível ao utilizador.
Para o melhoramento do funcionamento da framework foi necessário entender a versão anterior da
mesma de modo a criar novas funcionalidades e modificar outras já implementadas de maneira a otimizar
o código. A fim de melhorar a organização estrutural do código usado durante a implementação da versão
anterior de ANNODE, foi desenhada uma arquitetura que possibilita a adição de novas funcionalidades
de forma simples e rápida.
Com o objetivo de ter uma plataforma sempre em funcionamento e que possa estar à escuta de novas
conexões de maneira a conseguir processar dados, é necessário ajustar a framework para um funcionamento contínuo e que seja confiável num ambiente online.
A existência de vários componentes díspares onde a comunicação entre os mesmos era importante,
implementou-se um ambiente de virtualização através de microserviços e imagens da ferramenta Docker,
necessário à utilização simultânea de diferentes serviços virtuais. Deste modo, existem serviços para cada
elemento essencial nesta plataforma, nomeadamente, serviços para a framework em si, para a interface
gráfica, para a API e outras tecnologias como o Grafana e a base de dados MySQL que são utilizadas e
que necessitam de acesso constante.
Este projeto está dividido em duas fases. A primeira fase consiste em compreender e alargar a framework ANNODE. É essencial compreender como funciona a framework, como deteta outliers, como é
que uma previsão é calculada e como são substituídos os valores considerados como anomalias. É nesta
fase que exploramos novas abordagens a adicionar à framework de modo a complementar as funcionalidades existentes.
De seguida, é necessário englobar o envio de dados recolhidos por sensores do LNEC para a framework e observar o seu comportamento, generalizar a framework, definir de fatores que fazem uma
medição um outlier, reformular a framework para um uso mais compreensível e um melhor funcionamento, implementar novos métodos para a deteção de anomalias, mais especificamente, omissão de
dados ou dados em falta.
A segunda fase consiste na implementação de um dashboard para o sistema de monitorização remota,
onde uma arquitetura de sistema necessita de ser construída de modo a apoiar a interface gráfica. Esta
deve mostrar ao utilizador, em tempo real, dados e as suas anomalias, caso sejam detetadas.
No final, esta solução mostrou ser fiável no contexto desta tese. Obtivemos resultados bastante
promissores que melhoram esta contribuição na inovação de soluções para este tipo de problema, sendo
possível a deteção de anomalias como outliers e omissões de dados em tempo real, assim como a sua
correção. Este processamento de dados é valido não só para apenas um sensor, mas também para vários
sensores que enviam dados em simultâneo.
Unidades organizacionais
Descrição
Palavras-chave
Contribuidores
Financiadores
Entidade financiadora
Fundação para a Ciência e a Tecnologia
Programa de financiamento
3599-PPCDT
Número da atribuição
PTDC/CCI-COM/30142/2017