Gestion des pipelines
Les pipelines sont au coeur du système. C'est là que
le traitement a lieu : où les entité sont résolues, où les relations sont détectées
et où les alertes sont déclenchées. Les pipelines constituent le moyen principal
par lequel les données sont chargées dans la base de données d'entité. La gestion des pipelines est une
tâche opérationnelle permanente qui implique de configurer les pipelines, de démarrer et arrêter
les pipelines, de superviser les pipelines, et d'acheminer les messages des pipelines à d'autres
pipelines, noeuds, ou systèmes externes.
- Démarrage des pipelines
Pour qu'un pipeline puisse recevoir et traiter des données, il faut le démarrer. Il est courant de lancer plusieurs pipelines afin d'augmenter le débit de données ou de traiter différents types de données source. La procédure ci-après permet de démarrer un pipeline ou d'en redémarrer un étant arrêté.
- Arrêt des pipelines
L'arrêt d'un pipeline signifie faire passer son état actuel d'actif et ouvert pour traiter des données à inactif et fermé aux données entrantes. Vous pouvez arrêter manuellement un seul pipeline à la fois. Suivez ces instructions pour arrêter un pipeline après avoir apporté des modifications à la configuration système (puis redémarrez le pipeline pour que les modifications de configuration prennent effet) si vous installez un correctif logiciel ou une édition de mise à niveau, ou si vous apportez des modifications de configuration au noeud qui héberge le pipeline.
- Configuration des pipelines
Lorsqu'un pipeline démarre, il recherche un fichier de configuration de pipeline afin d'obtenir ses variables de démarrage et les informations de configuration initiales, nécessaires au traitement des données entrantes. Par défaut, lorsqu'un pipeline est installé sur le noeud de pipeline, le système installe également un fichier de configuration de pipeline par défaut nommé pipeline.ini, qui peut être utilisé par l'ensemble des pipelines de ce noeud de pipeline. Il faut toutefois configurer spécifiquement certaines sections de ce fichier par défaut en fonction des pipelines exécutés sur le noeud de pipeline, et ce afin que le pipeline dispose des connexions et de l'accès adéquats à la base de données d'entités. Ces instructions permettent de configurer le fichier de configuration du pipeline.
- Inscription de pipelines
Avant de pouvoir en superviser le statut ou les résultats d'acheminement, vous devez d'abord inscrire les pipelines dans la console de configuration. Inscrire les pipelines n'est pas la même chose qu'installer ou configurer un pipeline ; cela signifie ajouter le pipeline à l'onglet Pipelines de la console de configuration.
- Configuration des règles de routage
Les règles de routage permettent d'acheminer les résultats du traitement des pipelines ou du programme d'acquisition vers une base de données, un pipeline ou un système externe. Les règles de routage sont configurées dans l'onglet Règles de routage de la console de configuration, mais vous pouvez uniquement acheminer des données depuis des pipelines ou des programmes d'acquisition enregistrés au moyen du moniteur d'application. Vous pouvez configurer une nouvelle règle de routage en intégralité ou à partir d'une règle de routage existante.
- Suppression de règles de routage
Une fois configurée, une règle de routage ne peut plus être modifiée ; vous devez en fait supprimer l'ancienne règle de routage et en configurer une nouvelle si vous devez corriger ou mettre à jour des informations. Il se peut que vous deviez également supprimer une règle de routage devenue superflue. Vous pouvez supprimer une ou plusieurs règles de routage configurées dans l'onglet Règles de routage de la console de configuration.
- Statut et statistiques de pipeline
La supervision du statut, des statistiques et des performances d'un pipeline est importante pour le maintenir en état de fonctionner, d'équilibrer les charges de données et de repérer les problèmes potentiels avant qu'ils ne surviennent. Le moniteur d'application fonctionne avec un agent SNMP s'exécutant sur le noeud de pipeline pour communiquer le statut et les statistiques des pipelines, qui s'affichent ensuite dans la console de configuration.