Loading...
Publication
A recommender system for energy-efficient strategies considering solar panel systems
| Name: | Description: | Size: | Format: | |
|---|---|---|---|---|
| 2.44 MB | Adobe PDF |
Authors
Abstract(s)
The increasing global focus on sustainability and energy conservation has led to a rise in the development of smart technologies aimed at optimizing energy consumption in buildings. This thesis presents
the design and implementation of a recommender system to provide optimal energy-saving strategies
for occupants of buildings equipped with solar panels and energy storage systems. The system collects
data on energy consumption, weather, energy production, electricity prices, and user preferences. Using
machine learning algorithms, it recommends future actions that reduce the energy footprint while maintaining user comfort. This thesis also evaluates the system’s effectiveness and its potential impact on
energy conservation.
As a dataset containing all these components was not readily available, the first step was to create a
new dataset encompassing all the relevant areas. This was done by gathering data from online databases
or directly from users, resulting in a dataset of thirteen households for analysis.
A data preparation pipeline was developed for the recommender system. Inputs included predictions
of energy consumption, weather conditions, energy production, and electricity prices. After reviewing
common models used for these predictions, various machine-learning techniques were tested to determine
the best-fit model. The techniques tested included LSTMs, RFR, MLP, XGBoost, and SVR for regression,
as well as RF, DT, KNN, SVC, GNB, MLP, SGD, and XGBoost for classification.
With the final predictions, heuristic analysis was applied to determine the optimal energy source at
each moment. A collaborative filtering approach was then used to enhance user recommendations based
on days. The project demonstrated significant monthly price reductions, ranging from 20% to 70%,
proving its effectiveness in providing energy-efficient strategies.
Ao longo das últimas décadas, tem-se observado um crescente interesse na sustentabilidade e na conservação de energia. Esta tendência emergente, reflete uma consciência global sobre a necessidade de proteger o meio ambiente e promover práticas mais responsáveis no uso dos recursos naturais. Com esta premissa, têm sido desenvolvidas tecnologias inovadoras que permitem uma gestão mais eficiente da energia em edifícios, facilitando a adoção de práticas sustentáveis no dia a dia. Além dessa questão ambiental, o aumento da população mundial tem gerado uma necessidade crescente por eletricidade, uma vez que mais pessoas utilizam combustíveis fósseis, que, por sua vez, são recursos finitos e que eventualmente se esgotarão. Este cenário levanta preocupações sobre a segurança energética e a necessidade de transição para fontes de energia mais limpas e renováveis. Para além disso, muitos edifícios modernos exigem eletricidade para garantir um maior conforto aos seus ocupantes, seja através de sistemas de climatização, iluminação eficiente ou eletrodomésticos que facilitam as atividades diárias. Com a crescente necessidade energética, torna-se importante projetar e implementar soluções que promovam a economia de energia, minimizando assim os custos e o impacto ambiental para os usuários. Essas soluções voltadas para edifícios requerem produtos inovadores que consigam gerir de uma forma otimizada a energia necessária para o funcionamento dos aparelhos domésticos e todos os custos associados a essa gestão. Uma abordagem promissora para enfrentar esse desafio é a implementação de Sistemas de Recomendação (SR). Estes sistemas utilizam algoritmos avançados que analisam e compreendem as preferências e comportamentos dos usuários dentro de uma plataforma. Com base nessa análise, os sistemas são capazes de prever e sugerir ”itens”, produtos ou conteúdos que se adequam às necessidades individuais dos usuários. Essa personalização não apenas melhora a experiência do usuário, mas também pode ser fundamental na redução dos custos de energia, uma vez que o sistema analisa os hábitos e estilos de vida dos usuários, adaptando-se às suas exigências específicas. O equilíbrio entre conforto e eficiência energética é essencial, e um SR torna-se uma metodologia valiosa para ajudar as famílias a encontrarem a melhor forma de equilibrar a redução de custos e a manutenção do bem-estar em seus lares. Portanto, a investigação apresentada nesta tese visa colmatar essas lacunas no mercado através da introdução de um novo sistema de recomendação que dá prioridade à eficiência energética e enfatiza de forma significativa a redução de custos. Isso irá permitir aos usuários que façam um uso mais econômico e prático dos seus aparelhos elétricos domésticos, promovendo uma gestão mais consciente da energia consumida. Ao incorporar variáveis preditivas, como as condições meteorológicas, a produção de energia a partir de painéis solares, os preços de mercado da eletricidade e as necessidades de carga energética em tempo real, esta abordagem oferece uma solução mais abrangente e personalizada para responder a essas demandas, que muitas vezes têm sido pouco representadas no domínio da gestão de energia. A utilização de dados em tempo real e variáveis externas é importante para a eficácia do sistema, permitindo que ele se adapte a condições variáveis e imprevisíveis. Dado que seria difícil encontrar um conjunto de dados que contivesse todos esses componentes relevantes, o primeiro passo desta tese foi criar um novo conjunto de dados abrangente, que incluísse informações sobre todas as áreas mencionadas, como condições meteorológicas, a produção de energia a partir de painéis solares, os preços de mercado da eletricidade e as necessidades de carga energética. Este trabalho foi realizado por meio da recolha de dados de bases de dados específicas disponíveis online, bem como pela aquisição de dados diretamente dos usuários. O conjunto de dados final abrangeu treze agregados familiares que foram selecionados para análise detalhada. Entretanto, a única informação que não foi incorporada neste passo, mas que é fundamental para o desenvolvimento do sistema, refere-se ao uso de baterias para o armazenamento de energia. Esta informação não foi incluída, pois não havia dados relevantes disponíveis que pudessem ser integrados nesta parte do trabalho. Diante dessa limitação, optou-se por desenvolver uma bateria fictícia que incorporasse componentes típicos das baterias utilizadas em ambientes domésticos, permitindo assim simulações e análises mais precisas. Após a criação do conjunto de dados, foi desenvolvida uma pipeline para preparar os dados para o sistema de recomendação. As entradas para o sistema consistem em previsões sobre o consumo de energia, condições meteorológicas, energia produzida e preços da eletricidade. Este pipeline inclui uma secção específica para a previsão da energia produzida por painéis solares, que difere das outras previsões a serem realizadas. No que diz respeito à previsão da energia produzida, essa secção consiste em três etapas principais: a primeira foca no desenvolvimento de modelos de previsão utilizando condições meteorológicas específicas, a segunda envolve a criação de um modelo que prevê diretamente a produção de energia solar e, por fim, a terceira etapa consiste na criação de um processo de gating que combina os resultados das duas etapas anteriores. Dentro dessa pipeline, é a partir dela que serão aplicados os modelos de aprendizagem automática para gerar os valores que servirão de base para o sistema de recomendação. Após uma análise exaustiva dos modelos mais comuns utilizados para prever essas diferentes entradas, foram testadas várias técnicas de aprendizagem automática para encontrar o modelo mais adequado para os dados disponíveis. Os modelos testados incluem LSTMs, RFR, MLP, XGBoost e SVR, no que diz respeito à previsão de valores reais. Para os modelos de classificação, foram utilizados RF, DT, KNN, SVC, GNB, MLP, SGD e XGBoost. Com as previsões finais para todas as entradas, os dados foram submetidos a uma análise heurística, que teve como objetivo determinar a fonte de energia ideal para cada momento. Ou seja, neste passo, o que será realizado é uma análise momento a momento, utilizando os valores reais de cada casa e os valores previstos para as próximas seis horas. Com base nesses dados, será decidido qual será a melhor fonte de energia a ser utilizada em cada momento, repetindo esse processo para as horas subsequentes. No final, obtém-se um valor total para o mês de cada usuário, e apresenta-se a percentagem da redução de custos para aquele período se fosse somente usado energia da rede. Este procedimento pode ser associado a um método de ”Content-Based Filtering”, em que o usuário é o momento específico, e o sistema recomenda a melhor fonte de energia com base nos diferentes valores de entrada. Além disso, foram exploradas diferentes formas de selecionar a melhor fonte de energia para cada momento, com diferentes níveis de complexidade heurística. Para isso, foi testada uma metodologia com heurísticas simples, intermédias, e mais complexas, permitindo uma comparação abrangente. Por fim, foi utilizada uma abordagem de ”Collaborative Filtering” para obter recomendações para novos usuários, sendo que, neste contexto, os próprios dias são os usuários. Para isso, foram aplicados modelos de aprendizagem automática. Como se irá prever a fonte de energia que será utilizada naquele momento, essa variável é de carácter classificativo. Assim, os modelos testados para essa etapa final do projeto incluirão RF, DT, KNN, SVC, GNB, MLP, SGD e XGBoost. Este projeto produziu resultados interessantes, com reduções de preços mensais que variaram entre 20% e 70% para as diversas casas que foram usadas neste estudo. Para além desse aspeto foi possivel verificar que as heuristicas mais complexas levam a uma poupança maior ao final do mês no preço da eletricidade. Esses resultados demonstram a utilidade do sistema, especialmente no que se refere à busca por soluções que forneçam aos usuários as melhores formas de alocação de energia, priorizando a eficiência energética e a sustentabilidade.
Ao longo das últimas décadas, tem-se observado um crescente interesse na sustentabilidade e na conservação de energia. Esta tendência emergente, reflete uma consciência global sobre a necessidade de proteger o meio ambiente e promover práticas mais responsáveis no uso dos recursos naturais. Com esta premissa, têm sido desenvolvidas tecnologias inovadoras que permitem uma gestão mais eficiente da energia em edifícios, facilitando a adoção de práticas sustentáveis no dia a dia. Além dessa questão ambiental, o aumento da população mundial tem gerado uma necessidade crescente por eletricidade, uma vez que mais pessoas utilizam combustíveis fósseis, que, por sua vez, são recursos finitos e que eventualmente se esgotarão. Este cenário levanta preocupações sobre a segurança energética e a necessidade de transição para fontes de energia mais limpas e renováveis. Para além disso, muitos edifícios modernos exigem eletricidade para garantir um maior conforto aos seus ocupantes, seja através de sistemas de climatização, iluminação eficiente ou eletrodomésticos que facilitam as atividades diárias. Com a crescente necessidade energética, torna-se importante projetar e implementar soluções que promovam a economia de energia, minimizando assim os custos e o impacto ambiental para os usuários. Essas soluções voltadas para edifícios requerem produtos inovadores que consigam gerir de uma forma otimizada a energia necessária para o funcionamento dos aparelhos domésticos e todos os custos associados a essa gestão. Uma abordagem promissora para enfrentar esse desafio é a implementação de Sistemas de Recomendação (SR). Estes sistemas utilizam algoritmos avançados que analisam e compreendem as preferências e comportamentos dos usuários dentro de uma plataforma. Com base nessa análise, os sistemas são capazes de prever e sugerir ”itens”, produtos ou conteúdos que se adequam às necessidades individuais dos usuários. Essa personalização não apenas melhora a experiência do usuário, mas também pode ser fundamental na redução dos custos de energia, uma vez que o sistema analisa os hábitos e estilos de vida dos usuários, adaptando-se às suas exigências específicas. O equilíbrio entre conforto e eficiência energética é essencial, e um SR torna-se uma metodologia valiosa para ajudar as famílias a encontrarem a melhor forma de equilibrar a redução de custos e a manutenção do bem-estar em seus lares. Portanto, a investigação apresentada nesta tese visa colmatar essas lacunas no mercado através da introdução de um novo sistema de recomendação que dá prioridade à eficiência energética e enfatiza de forma significativa a redução de custos. Isso irá permitir aos usuários que façam um uso mais econômico e prático dos seus aparelhos elétricos domésticos, promovendo uma gestão mais consciente da energia consumida. Ao incorporar variáveis preditivas, como as condições meteorológicas, a produção de energia a partir de painéis solares, os preços de mercado da eletricidade e as necessidades de carga energética em tempo real, esta abordagem oferece uma solução mais abrangente e personalizada para responder a essas demandas, que muitas vezes têm sido pouco representadas no domínio da gestão de energia. A utilização de dados em tempo real e variáveis externas é importante para a eficácia do sistema, permitindo que ele se adapte a condições variáveis e imprevisíveis. Dado que seria difícil encontrar um conjunto de dados que contivesse todos esses componentes relevantes, o primeiro passo desta tese foi criar um novo conjunto de dados abrangente, que incluísse informações sobre todas as áreas mencionadas, como condições meteorológicas, a produção de energia a partir de painéis solares, os preços de mercado da eletricidade e as necessidades de carga energética. Este trabalho foi realizado por meio da recolha de dados de bases de dados específicas disponíveis online, bem como pela aquisição de dados diretamente dos usuários. O conjunto de dados final abrangeu treze agregados familiares que foram selecionados para análise detalhada. Entretanto, a única informação que não foi incorporada neste passo, mas que é fundamental para o desenvolvimento do sistema, refere-se ao uso de baterias para o armazenamento de energia. Esta informação não foi incluída, pois não havia dados relevantes disponíveis que pudessem ser integrados nesta parte do trabalho. Diante dessa limitação, optou-se por desenvolver uma bateria fictícia que incorporasse componentes típicos das baterias utilizadas em ambientes domésticos, permitindo assim simulações e análises mais precisas. Após a criação do conjunto de dados, foi desenvolvida uma pipeline para preparar os dados para o sistema de recomendação. As entradas para o sistema consistem em previsões sobre o consumo de energia, condições meteorológicas, energia produzida e preços da eletricidade. Este pipeline inclui uma secção específica para a previsão da energia produzida por painéis solares, que difere das outras previsões a serem realizadas. No que diz respeito à previsão da energia produzida, essa secção consiste em três etapas principais: a primeira foca no desenvolvimento de modelos de previsão utilizando condições meteorológicas específicas, a segunda envolve a criação de um modelo que prevê diretamente a produção de energia solar e, por fim, a terceira etapa consiste na criação de um processo de gating que combina os resultados das duas etapas anteriores. Dentro dessa pipeline, é a partir dela que serão aplicados os modelos de aprendizagem automática para gerar os valores que servirão de base para o sistema de recomendação. Após uma análise exaustiva dos modelos mais comuns utilizados para prever essas diferentes entradas, foram testadas várias técnicas de aprendizagem automática para encontrar o modelo mais adequado para os dados disponíveis. Os modelos testados incluem LSTMs, RFR, MLP, XGBoost e SVR, no que diz respeito à previsão de valores reais. Para os modelos de classificação, foram utilizados RF, DT, KNN, SVC, GNB, MLP, SGD e XGBoost. Com as previsões finais para todas as entradas, os dados foram submetidos a uma análise heurística, que teve como objetivo determinar a fonte de energia ideal para cada momento. Ou seja, neste passo, o que será realizado é uma análise momento a momento, utilizando os valores reais de cada casa e os valores previstos para as próximas seis horas. Com base nesses dados, será decidido qual será a melhor fonte de energia a ser utilizada em cada momento, repetindo esse processo para as horas subsequentes. No final, obtém-se um valor total para o mês de cada usuário, e apresenta-se a percentagem da redução de custos para aquele período se fosse somente usado energia da rede. Este procedimento pode ser associado a um método de ”Content-Based Filtering”, em que o usuário é o momento específico, e o sistema recomenda a melhor fonte de energia com base nos diferentes valores de entrada. Além disso, foram exploradas diferentes formas de selecionar a melhor fonte de energia para cada momento, com diferentes níveis de complexidade heurística. Para isso, foi testada uma metodologia com heurísticas simples, intermédias, e mais complexas, permitindo uma comparação abrangente. Por fim, foi utilizada uma abordagem de ”Collaborative Filtering” para obter recomendações para novos usuários, sendo que, neste contexto, os próprios dias são os usuários. Para isso, foram aplicados modelos de aprendizagem automática. Como se irá prever a fonte de energia que será utilizada naquele momento, essa variável é de carácter classificativo. Assim, os modelos testados para essa etapa final do projeto incluirão RF, DT, KNN, SVC, GNB, MLP, SGD e XGBoost. Este projeto produziu resultados interessantes, com reduções de preços mensais que variaram entre 20% e 70% para as diversas casas que foram usadas neste estudo. Para além desse aspeto foi possivel verificar que as heuristicas mais complexas levam a uma poupança maior ao final do mês no preço da eletricidade. Esses resultados demonstram a utilidade do sistema, especialmente no que se refere à busca por soluções que forneçam aos usuários as melhores formas de alocação de energia, priorizando a eficiência energética e a sustentabilidade.
Description
Tese de Mestrado, Ciência de Dados, 2024, Universidade de Lisboa, Faculdade de Ciências
Keywords
Eficiência Energética Sistema de Recomendação Otimização de Custos Modelação Preditiva Painéis Solares Teses de mestrado - 2024