DQM (Data Quality Management) é o processo de pipeline que verifica nos dados os valores necessários, tipos de dados válidos e códigos válidos. Também é possível configurar o DQM para corrigir os dados, fornecendo valores padrão, formatando números e datas e incluindo novos códigos.
Data quality management, juntamente com a limpeza de nome e padronização e limpeza de endereço e padronização, foi projetado para otimizar e aprimorar a qualidade de dados. Esta preparação de qualidade de dados é uma etapa essencial na resolução da entidade, porque aumenta a confiança nas entidades resultantes resolvidas e em relacionamentos detectados.
Para aplicar data quality management aos dados carregados no sistema, é possível configurar regras de data quality management (ou regras DQM). As regras DQM podem desempenhar uma variedade de funções de reparo, limpeza e padronização em valores dos dados de identificação de entrada, tais como, formatação correta de números, identificação e correção de erros de transcrição ou de transposição e identificação e correção de imprecisões intencionais introduzidas por essa intenção ao tentar ocultar suas identidades.
O produto é fornecido pré-configurado com várias regras DQM pelo segmento UMF que manipulam os problemas de qualidade de dados mais críticos para esse segmento UMF. Mas você pode configurar regras DQM adicionais, conforme necessário. No entanto, antes de fazer isso, é necessário estar familiarizado com a qualidade original dos dados e o processo ETL (extract, transform, and load) que foi utilizado para transformar os dados de identificação em UMF. Quando souber qual aprimoramento de dados é necessário, você poderá selecionar as regras DQM, funções e valores corretos a serem aplicados a cada tipo de dados de identificação que precisam de otimização de adicional de dados adicional.
Por exemplo, o formato de data para seu sistema é DD/MM/AAAA. Mas, em várias de suas origens de dados, os valores de data são formatados como MM-DD-AAAA. Você pode incluir a regra DQM 204 no segmento UMF <NUMBER>, configurando-o para corrigir todas as datas de entrada formatadas como MM-DD-AAAA para o formato de data de DD/MM/AAAA.