Confiabilidade de dados em ambientes de business intelligence : uma abordagem fuzzy baseada em taxonomias de problemas de qualidade

Abstract

O impacto da má qualidade dos dados sobre a tomada de decisão, a confiança organizacional e a satisfação do cliente é bem conhecida. Ademais, fatores emergentes, tais como o aumento no volume dos dados, têm agravado o problema. Nas organizações atuais, sistemas de Business Intelligence (BI) têm oferecido suporte à gestão de negócios e se constituindo uma evolução natural e lógica dos Sistemas de Apoio a Decisão. Neste novo cenário, implementações de soluções de BI tem falhado devido a má qualidade dos dados. Supondo que é possível avaliar a qualidade dos dados com base em metadados, a questão principal, então, é: Como fornecer ao usuário informações relativas à qualidade dos dados? Atrelado a esta questão, encontra-se um segundo fator relevante: Durante muito tempo, preocupou-se com a qualidade dos dados sem levar em consideração a questão da confiança. Esta dissertação apresenta uma nova visão a respeito da qualidade e da confiança dos dados, porque, ao contrário do senso comum, a qualidade dos dados não é o único fator influenciando a confiabilidade dos dados e estes dois conceitos não são necessariamente correlacionados. Baixa qualidade pode ser confiável em algumas situações e dados de alta qualidade podem ter baixa confiança em outro contexto. Em nosso trabalho, a avaliação da confiabilidade dos dados em ambientes de BI é baseada em um conjunto de métricas, obtidas a partir de uma taxonomia dos problemas de qualidade. Para representar a incerteza da avaliação, lógica fuzzy é empregada como método de obtenção de uma pontuação global de confiabilidade. Por fim, a proposta desenvolvida é avaliada através de simulações, de forma a ilustrar sua eficácia e demonstrar um avanço em relação aos métodos estado-da-arte conhecidos da literatura. _______________________________________________________________________________________ ABSTRACT

The impact of poor data quality on decision making, organizational trust and customer satisfaction is well known. Furthermore, emerging factors, such as increasing the volume of data, have aggravated the problem. In today's organizations, Business Intelligence (BI) systems have offered support to business management and providing a natural and logical evolution of Decision Support Systems. In this new scenario, implementations of BI solutions have failed due to poor data quality. Assuming it is possible to assess the quality of data based on metadata, the main question then is: How to provide the user with information relating to data quality? Tied to this question lies a second relevant factor: For a long time, worried about the quality of data without taking into account the question of trust. This dissertation presents a new vision about the quality and trustworthiness of the data, because, contrary to common sense, data quality is not the only factor influencing the trustworthiness of data and these two concepts are not necessarily correlated. Low quality can be unreliable in some situations and high-quality data can have little confidence in another context. In our study, evaluating the trustworthiness of data in BI environments is based on a set of metrics, obtained from taxonomy of quality problems. To represent the uncertainty of the evaluation, fuzzy logic is employed as a method of obtaining an overall score of trustworthiness. Finally, the proposal developed is evaluated through simulations, in order to illustrate its effectiveness and demonstrate an improvement over methods state-of-the-art known from the literature.