IM InfoSphere Identity Insight Version 8.0

Datenqualitätsprüfung

Wenn Identitätsdaten zur Verarbeitung im System ankommen, prüft die Pipeline die Qualität der Daten, um die Integrität der Entitätendatenbank zu schützen. Jeder ankommende Identitätsdatensatz wird auf korrekte UMF-Konstruktion (Universal Message Format), erforderliche Werte, gültige Datentypen und konfigurierte Codes für die Datenquelle geprüft.

Beim Prüfen der Datenqualität versucht der Prozess, Probleme zu korrigieren, sofern dies möglich und das System entsprechend konfiguriert ist. Wenn das System ermittelt, ob Datenqualitätsprobleme korrigiert werden sollen oder nicht, verwendet es die konfigurierten DQM-Regeln (DQM - Datenqualitätsmanagement). DQM-Regeln definieren, welche Datenqualitätsmängel an ankommenden Identitätsdatensätzen korrigiert werden sollen und welche Mängel belassen werden sollen, wobei die Datensätze trotzdem verarbeitet werden können.

Sie können die Datenqualität für eine bestimmte Datenquelle anzeigen, indem Sie den Ergebnisbericht für den Ladevorgang anzeigen oder drucken. Im Abschnitt mit der Qualitätszusammenfassung finden Sie hilfreiche Einsichten in die Gesamtdatenqualität für diese Datenquelle oder für eine bestimmte Gruppe von Identitätsdatensätzen, die aus dieser Datenquelle geladen wurden. Mit Hilfe dieser Informationen können Sie Ihren ETL-Prozess nach Bedarf für eine bestimmte Datenquelle anpassen.

Die Standardprotokollierung und -fehlerbehandlung protokollieren alle Fehler und Korrekturen der Datenqualität sowie Fehler, die das System nicht korrigieren konnte oder nicht korrigiert hat. Prüfen Sie die Systemprotokolle häufig, damit Sie die Datenqualitätsfehler kennen, die von der Pipelineverarbeitung nicht korrigiert wurden. In den meisten Fällen müssen Sie die Datenqualitätsfehler korrigieren und die korrigierten Identitätsdatensätze anschließend für Entitätsauflösungsverarbeitung erneut in eine Pipeline laden.

Beispiele für Datenqualitätsprüfung

Das System kann bei entsprechender Konfiguration automatisch Codes hinzufügen, die nicht als neue Codes erkannt werden. Das Protokoll UMF_EXCEPT zeigt die Ergebnisse neuer Codes an, die vom System hinzugefügt wurden, bzw. Datensätze, die zurückgewiesen und nicht verarbeitet wurden, weil das System einen Code nicht erkannt hat und nicht für das Hinzufügen eines Codes als neuer Code konfiguriert war.

In der folgenden Tabelle werden zwei Beispiele von Codes ankommender Datensätze gezeigt, die noch nicht im System konfiguriert waren.
Tabelle 1. Beispiele von zwei nicht im System konfigurierten Codes und das Ergebnis der Systemverarbeitung
Code Qualitätsprüfung Protokoll UMF_EXCEPT
Addr_Type x neuer Code hinzugefügt in Protokoll schreiben
Num_Type xxx neuer Code zurückgewiesen in Protokoll schreiben
  • Im ersten Beispiel ist das System für das automatische Hinzufügen des neuen Codes für den Adresstyp konfiguriert.
  • Im zweiten Beispiel ist das System nicht für das automatische Hinzufügen des neuen Codes oder die Entitätsauflösungsverarbeitung des Datensatzes konfiguriert.

In beiden Fällen protokolliert das System die Aktion in der entsprechenden Protokolldatei.



Feedback

Letzte Aktualisierung: 2009