IM Centre de documentation de Relationship Resolution, Version 4.2

Utilitaire Net change

L'utilitaire Net Change, outil architecturé autour de Java, compare les nouvelles données entrantes aux données existantes issues de la même source.

Cet utilitaire confronte les fiches entrantes à un fichier existant afin de déterminer si chaque fiche entrante est :

Faites appel à l'utilitaire Net change chaque fois que vous avez affaire à des données qui répètent des données que vous possédez déjà. Par exemple, si l'une des sources de données mensuelles est un annuaire téléphonique, il est judicieux de repérer les éventuels doublons de données avant de charger le nouveau fichier, la plupart des numéros de téléphone ne changeant pas tous les mois.

En éliminant les doublons de fiches afin d'éviter à l'utilitaire de conversion ou aux pipelines d'avoir à les traiter, le temps de traitement global du système diminue.

Les réglages du fichier de configuration décrivent les paramètres d'exécution essentiels à la comparaison des fiches. Les paramètres qui définissent la largeur, les critères et la clé de la fiche doivent être précis pour que l'utilitaire Net change fonctionne correctement. Par exemple, si la taille totale du fichier n'est pas divisible par la longueur de fiche plus la longueur de remplissage, l'utilitaire affiche une erreur puis s'arrête.

L'utilitaire Net change compare un ensemble de fiches entrant à un ensemble de fiches de base. Il crée un fichier de différence (.dif) qui signale quelles fiches représentent une fiche ajoutée, modifiée, supprimée ou vue. Il crée également un fichier de fusion (.merge) qui écrase l'ensemble de fiches de base original et qui servira de nouvel ensemble de fiches de base. L'utilitaire Net change peut ensuite envoyer le fichier de différence soit à l'utilitaire de conversion de fichier UMF ou autre utilitaire de génération UMF, soit, si la source de données fournit les fiches au format UMF, directement à un pipeline.

L'utilitaire Net change effectue deux sortes de comparaisons :

  1. Incrémentielle : (par défaut) la comparaison incrémentielle s'utilise lorsque vous avez des fichiers entrants incomplets, par exemple lorsque vous chargez uniquement les fiches A à M un jour et N à Z le lendemain. De cette manière, les données entrantes ne modifient pas les fiches N-Z du fichier de base le jour où vous traitez les fiches A-M. Comparaisons incrémentielles :
    • Ignorer les fiches manquantes du fichier source, par rapport au fichier de base.
    • Ne signaler aucune fiche pour suppression dans le fichier de différence (.diff) ; ne supprimer aucune fiche du nouveau fichier de base.
    • Pour fonctionner, ne doit pas inclure le commutateur de suppression --do-delete dans la ligne de commande.
  2. Comparaison complète : la comparaison complète s'utilise lorsque les données entrantes fournissent à chaque fois tous les fiches d'un fichier, et que vous souhaitez supprimer toute fiche présente de la base de données mais absente des données d'entrée. Comparaisons complètes :
    • Evaluer la totalité des données entrantes par rapport à la totalité du fichier de base.
    • Signaler toute fiche absente de la source (par rapport au fichier de base). Les fiches signalées pour suppression le sont du nouveau fichier de base.
    • Doit être indiqué dans la ligne de commande en incluant le commutateur de suppression --do-delete.
Tâches associées
Evaluation de nouvelles données par rapport aux données existantes
Référence associée
Comparaison d'enregistrements par l'utilitaire Net Change


Appréciations en retour

Dernière mise à jour : 2007