A carregar...
Publicação
Deep learning and semi-supervised methods for addressing learning with unlabeled data in telco package recommendation models
| Nome: | Descrição: | Tamanho: | Formato: | |
|---|---|---|---|---|
| 3.93 MB | Adobe PDF |
Autores
Orientador(es)
Resumo(s)
Os sistemas de recomendação são cada vez mais usados em diferentes indústrias com foco em
melhorar a sua relação com o cliente e aumentar os seus lucros. Assim, a inclusão de sistemas de
recomendação por parte de empresas telco tem vindo a ser explorada com o intuito de produzir
recomendações de ofertas telco alinhadas com as preferências e necessidades dos clientes, bem
como aumentar o lucr o da empresa. O presente projeto foi desenvolvido numa empresa de
telecomunicações 2
. No que diz respeito ao funcionamento do sistema de recomendação, este é
direcionado para clientes empresariais e tem como objetivo recomendar a melhor oferta aos
clientes. Este é composto por uma fase de geração de possíveis ofertas a serem recomendadas
ao cliente. Deste universo de ofertas candidatas é empregue um modelo para realizar uma seleção
e propor a melhor oferta ao cliente. Atualmente, o sistema de recomendação implementado na
organização é composto por um modelo heurístico e analítico. Havendo a ambição de que
gradualmente, o modelo analítico substitua o modelo heurístico. Relativamente ao modelo
heurístico, este funciona c o m base em regras de negócio. Contrariamente, a abordagem
analítica corresponde a um modelo de propensão à adesão treinado com dados vindos de
campanhas outbound em que o operador apresenta as propostas ao cliente por via telefónica.
Devido a este cenário, o rastreamento das ofertas apresentadas ao cliente não é possível de ser feito,
resultando numa incerteza quanto ao mapeamento de uma recusa.
O principal objetivo deste projeto é melhorar o sistema de recomendação da empresa. Como tal
são propostas duas estratégias que visam resolver a incerteza subjacente ao mapeamento de uma
recusa. Portanto apresentamos uma abordagem focada em Positive Unlabeled Learning e uma
metodologia baseada em sistemas de recomendação alicerçada no paradigma modelo de duas torres.
No que diz respeito à abordagem de Positive Unlabeled Learning, a aprendizagem foi feita com
dados provenientes de campanhas de outcomes, constituídos por variáveis que caracterizam o
cliente e a oferta mapeada para o cliente. Esta abordagem consiste em treinar um classificador
binário com um conjunto de dados positivos e desconhecidos. Estas observações desconhecidas
podem ser tanto positivas como negativas. Nesta abordagem foram testados diferentes métodos de Positive Unlabeled Learning, nomeadamente o Spy Method e PU-Bagging. O primeiro
método consiste em retirar uma amostra de observações positivas e mudar a etiqueta das mesmas
para desconhecidos, a estas observações denominados de espiões, é treinado um classificador
binário e posteriormente são selecionados das observações desconhecidas como negativos fiáveis
aqueles que contêm uma probabilidade de serem positivos inferior ao primeiro decil da
probabilidade atribuída aos espiões. Quanto ao PU-Bagging, este consiste em treinar n
classificadores com as observações positivas e n amostras de dados identificados como
desconhecidos. Foram realizados diferentes testes sendo que o PU-Bagging registou os melhores
resultados nas métricas offline Area under the ROC Curve e PUF-Score. De igual modo, foram feitos testes A/B em que se selecionou a taxa de adesão
como o Key Performance Indicator definido para avaliar o desempenho do modelo, este registou
a melhor taxa de adesão de 3,41%, face à 2,63% obtido com o modelo analítico em produção e
2,58% com o modelo heurístico. Por outro lado, foi também adotada uma abordagem de sistemas
de recomendação. Nesta metodologia, a aprendizagem é feita com base nas alterações de
portfólio do cliente. Ademais, a recomendação de ofertas telco diferencia-se de outro tipo de
recomendações de produtos, dado que estas agregam um conjunto de serviços. Como tal, a
definição adotada para identificar um produto consistiu na utilização dos upgrades propostos por
cada oferta, conjuntamente com um intervalo de diferença monetária percentual entre o pacote
subscrito pelo cliente e o pacote proposto. Assim, o modelo aprende com qualquer cliente que
efetuou uma nova subscrição a um pacote telco proveniente de qualquer canal de venda na qual
desta nova subscrição não resultou uma perda de valor ou desativação de serviços. Assim, o modelo desenvolvido consistiu um modelo de duas torres. Cada torre diz respeito a uma feedforward
neural network, especificamente um encoder em que cada torre tem como objetivo aprender
um espaço latente do cliente e das ofertas telco. Com base nestes espaços latentes aprendidos,
é calculada a similaridade, recorrendo ao produto interno entre pares cliente-oferta. Posteriormente
os scores obtidos com o produto interno são usados para o ranking das ofertas a recomendar. Para
efeitos de comparação, também foi desenvolvida uma baseline baseada numa abordagem de
Content-based. Em termos de resultados verifica-se que o modelo de duas torres tanto na métrica
recall@k como nos testes A/B obteve uma performance satisfatória. Pelo que ao nível do recall@1
obteve um valor de 7,4% face a 3,4% obtidos com o Content-based. Em termos de taxa de adesão
o modelo de duas torres obteve 10,57% face a 9,00% atingidos pelo modelo de propensão à adesão
e 8,91% obtidos com o modelo heurístico.
Para trabalho futuro destaca-se a necessidade de experimentar técnicas de transfer learning, visto
que o dataset de treino utilizado é de dimensão reduzida. De igual modo, incorporar abordagens
de Sequential-Aware Recomender systems, poderia trazer mais ganhos de performance ao modelo.
Futuramente, é proposto testar abordagens de multi-recommender systems, dado que objetivo da
empresa não é somente recomendar a oferta mais alinhada com as preferências e necessidades do
cliente, mas é também conseguir maximizar o lucro, tendo em conta diferentes níveis de período
de fidelização.
Como principais contribuições desta tese elencamos a validação e a experimentação das
abordagens anteriormente referidas num cenário de dados reais aplicado à indústria de
telecomunicações. Bem como, o objetivo traçado e a melhoria do sistema de recomendação atual.
Recommender systems have seen an increasing adoption across many industries that aim in achieving a better relationship with the customer and increase their profits. Hence, the incorporation of recommender systems by telecommunication companies is being explored in to recommend offers that aligned with the customer’s needs and, consequently, increase profits. The following work project was developed for a telecommunication company 1 . Currently, the recommender system implemented in the organization is composed o f a heuristic model and an adhesion’s propensity model trained with data derived from outbound campaigns. These are campaigns where the operator presents the recommended offers to the client via phone-call. Due to this scenario, tracking the offers that are presented to the customer is not possible, creating an uncertainty factor in labelling a refusal offer. Therefore, in this thesis, we propose two different strategies that aim to tackle the stated problem, a methodology based on Positive Unlabeled Learning and an approach established on recommender systems using the Two-Tower Model architecture. Concerning the Positive Unlabeled Learning, we test different methods, being the method PU-Bagging the one that achieves better results on the evaluation metrics and the A/B testing done on campaigns. Regarding the recommender system approach, we implemented a model following the Two-Tower Model architecture, in which each tower is composed og an autoencoder. Each tower aims to represent the users’ features and items’ features in a learned latent space. In this space, we compute the dot product between the clients and offers vectors and use this score to produce the ranking of offers to be recommended. In terms of results, we observe that the Two Tower Model attained a satisfactory performance on the recall@k metric and the A/B testing, which on the online tests recorded the best hit rate among the three groups being tested. The main contributions of this thesis are testing and validating Positive Unlabeled Learning methods and the Two-Tower Model approach on real data.
Recommender systems have seen an increasing adoption across many industries that aim in achieving a better relationship with the customer and increase their profits. Hence, the incorporation of recommender systems by telecommunication companies is being explored in to recommend offers that aligned with the customer’s needs and, consequently, increase profits. The following work project was developed for a telecommunication company 1 . Currently, the recommender system implemented in the organization is composed o f a heuristic model and an adhesion’s propensity model trained with data derived from outbound campaigns. These are campaigns where the operator presents the recommended offers to the client via phone-call. Due to this scenario, tracking the offers that are presented to the customer is not possible, creating an uncertainty factor in labelling a refusal offer. Therefore, in this thesis, we propose two different strategies that aim to tackle the stated problem, a methodology based on Positive Unlabeled Learning and an approach established on recommender systems using the Two-Tower Model architecture. Concerning the Positive Unlabeled Learning, we test different methods, being the method PU-Bagging the one that achieves better results on the evaluation metrics and the A/B testing done on campaigns. Regarding the recommender system approach, we implemented a model following the Two-Tower Model architecture, in which each tower is composed og an autoencoder. Each tower aims to represent the users’ features and items’ features in a learned latent space. In this space, we compute the dot product between the clients and offers vectors and use this score to produce the ranking of offers to be recommended. In terms of results, we observe that the Two Tower Model attained a satisfactory performance on the recall@k metric and the A/B testing, which on the online tests recorded the best hit rate among the three groups being tested. The main contributions of this thesis are testing and validating Positive Unlabeled Learning methods and the Two-Tower Model approach on real data.
Descrição
Trabalho de Projeto de Mestrado, Ciência de Dados, 2024, Universidade de Lisboa, Faculdade de Ciências
Palavras-chave
Sistemas de recomendação Aprendizagem profunda Aprendizagem semi-supervesionada Aprendizagem positivo-desconhecido Modelo duas torres Teses de mestrado - 2024