Lucas, AnaOrdenã, Antónia Melicia de Sousa2019-03-152019-09-152018-10Ordenã, Antónia Melicia de Sousa (2018). "Análise e implementação de melhorias de qualidade de dados no processo de migração da informação de clientes". Dissertação de Mestrado, Universidade de Lisboa. Instituto Superior de Economia e Gestão.http://hdl.handle.net/10400.5/17628Mestrado em Gestão de Sistemas de InformaçãoO aumento da quantidade de dados relevou a importância da qualidade nos dados. Considerando este fator a empresa FinanceQ, no âmbito do projeto de migração, reconheceu a importância de melhorar a qualidade dos dados a migrar. Nesse sentido requisitou os serviços da empresa SIGQ e definiu como objetivos de projeto analisar a qualidade de dados atual; aplicar medidas de normalização nos dados; e aplicar medidas de enriquecimento nos atributos de morada. Considerando os objetivos definidos utilizou-se o software SAS Dataflux e aplicou-se a metodologia da aplicação composta por três fases: planeamento; ação; e monitorização. Durante o processo de qualidade foram aplicadas técnicas de data profiling para analisar os dados e a taxonomia de Oliveira et al.(2005) para identificar o tipo de anomalia nos dados. Quanto a melhoria de qualidade de dados seguiu-se a estratégia reativa onde foram aplicadas técnicas de normalização e enriquecimento para solucionar os problemas identificados: valores sem significado; valores a null; padrões inadequados para o atributo; erros ortográficos; existência de sinónimos; e valores fora do domínio dos atributos. Na fase final do projeto foi possível identificar que as técnicas aplicadas permitiram designar corretamente os géneros, reorganizar os números de telefone e validar os padrões de valores; as ações de limpeza e correção dos dados eliminaram os valores sem significado e corrigiram os erros ortográficos; O processo de enriquecimento normalizou os dados e enriqueceu os atributos de código postal em 80% dos registos. Na generalidade as técnicas aplicadas impactaram as características dos dados exatidão, objetividade, completude e consistência.The increasing availability of data highlighted the importance of data quality. Considering this factor the company FinanceQ acknowledged the importance of improving data quality in their migration project. With this goal in mind, they requested the services of the company SIGQ to analyse and implement data quality procedures. The goal of this project centred on three key issues: analysis of the current data quality; normalization of data; and address data enrichment. To fulfil the defined goals FinanceQ acquired the software SAS Dataflux and applied the SAS Dataflux methodology composed of three steps: planning; action; and monitoring. During the data quality process, data profiling techniques were applied to analyse data and the taxonomy of Oliveira et al. (2005) was considered to identify anomaly types. A data driven strategy was used for quality improvement and the techniques applied were data normalization and data enrichment to solve the identified problems: meaningless values; missing values; inadequate patterns; misspellings; synonymous; and values behind the context. In the last stage of the project it was possible to verify that the applied techniques allowed for correct designation of the gender fields, reorganization of telephone numbers and identification of measures to validate value patterns; the data cleaning and treatment helped to eliminate meaningless values and correct misspellings; the data enrichment process of addresses permitted normalisation and enrichment of the postal code fields in 80% of the records. In general, the goals of the applied techniques were to improve the data quality dimensions accuracy, objectivity, completeness and consistency.porQualidade de dadosproblema de qualidade de dadosmelhoria de qualidade de dadosGTQDdata profilingdata enrichmentData qualitydata quality problemdata quality improvementTDQMmaster thesis