IM InfoSphere Identity Insight, Versão 8.0

Verificação de Qualidade de Dados

Conforme os dados de identificação chegam no sistema para processamento, o pipeline verifica a qualidade dos dados para proteger a integridade do banco de dados da entidade. Cada registro de identidade de entrada é testado para a construção de UMF (Universal Message Format) apropriado, valores necessários, tipos de dados válidos e códigos de origem de dados configurados.

Conforme o processo verifica a qualidade de dados, ele tenta corrigir os problemas, se possível e se o sistema estiver configurado para isso. Ao determinar se corrigirá ou não os problemas de qualidade de dados, o sistema utiliza as regras DQM (Data Quality Management) configuradas. As regras DQM definem quais defeitos na qualidade de dados são aceitáveis para o sistema corrigir e quais defeitos são aceitáveis para ficar como estão, mas ainda processar os registros.

Para visualizar a qualidade de dados para uma origem de dados específica, é possível visualizar ou imprimir o relatório de Resumo de Carregamento. A seção de resumo de Qualidade pode oferecer percepções úteis para a qualidade de dados geral para essa origem de dados ou para um conjunto específico de registros de identidade carregados a partir dessa origem de dados. Utilizando estas informações, é possível ajustar seu processo ETL, conforme necessário, para uma origem de dados específica.

A criação de log e a manipulação de erros padrão registram todos os erros de qualidade de dados e correções, bem como erros que o sistema não pôde ou não corrigiu. Verifique os logs do sistema freqüentemente, para ficar ciente de erros de qualidade de dados que não foram corrigidos pelo processamento de pipeline. Na maioria dos casos, será necessário corrigir os erros de qualidade de dados e, em seguida, recarregar os registros de identidade corrigidos em um pipeline para o processamento de resolução da entidade.

Exemplos de Verificação de Qualidade de Dados

O sistema pode incluir automaticamente códigos que não são reconhecidos como novos códigos, se estiver configurado para isso. O log UMF_EXCEPT mostra os resultados nos novos códigos incluídos pelo sistema ou registros rejeitados e não processados, porque o sistema não reconheceu um código e não estava configurado para incluí-lo como novo.

A tabela a seguir mostra dois exemplos de códigos em registros de entrada que ainda não foram configurados no sistema.
Tabela 1. Exemplos de dois códigos não configurados no sistema e o resultado do processamento do sistema
Código Verificação de qualidade Log UMF_EXCEPT
Addr_Type x Novo código incluído gravar no log
Num_Type xxx Novo código rejeitado gravar no log
  • No primeiro exemplo, o sistema está configurado para incluir automaticamente o novo código de tipo de endereço.
  • No segundo exemplo, o sistema não está configurado para incluir automaticamente o novo código ou permitir que o registro seja processado para resolução da entidade.

Nos dois casos, o sistema registra a ação no arquivo de log apropriado.



Feedback

Última atualização: 2009