Créer un projet ODI
ODI est une plate-forme d’intégration de données avec une approche ELT (Extract, Load, Transform). ODI va permettre de constituer un ensemble de données homogène: un datawarehouse par exemple à partir de données provenant de sources diverses (base de données, fichiers plats, …).
Les différents concepts d’ODI
| Concept | Définition |
| Agent logique | Alias associé à différents agents physiques. |
| Agent physique | Module d’exécution d’ODI qui gère le processus d’intégration (gère l’exécution des scénarios) :
|
| Datastore | Contient la structure des données (BDD : tables, vues,… ; Fichier : ASCII, EXCEL, …). Il peut être créé de 2 façons :En effectuant un reverse (surtout prévu pour les SGBD)En saisissant manuellement la structure des données (surtout prévu pour les fichiers plats) |
| Dossier | Un dossier regroupe des packages, des interfaces et des traitements |
| Flux | Chemin emprunté par les données entres les sources et la cible dans une interface ODI |
| Fonction utilisateur | Macro définie pour différentes technologies, fournissant un alias unique, pour une transformation personnalisée ou du code récurrent. |
| Interface | Permet d’alimenter une cible à partir d’une ou plusieurs sources qui doivent être reliées entre elles, en utilisant éventuellement des fonctions de transformation et des filtres |
| Marqueur | Pour mettre en avant des éléments d’un projetClassiquement, on représente sous cette forme :
|
| Modèle de données | Les sources de données sont modélisées sous forme de tables appelés Datastore constitués de colonnes représentant les attributs, et lignes représentant les différentes entrées.Les modèles de données permettent d’organiser toute cette information |
| Module de connaissance | Modèles de génération de code.Séquence des étapes à réaliser.Implémentation de chacune des étapes.Le code est généré à l’exécution en fonction des modules de connaissances.Il existe plusieurs types de modules : chargement, intégration, … |
| Package | Un package est une suite d’étapes comprenant des interfaces, des variables, des traitements, …Ces étapes sont chainées entre elles et définissent un workflow |
| Projet | Regroupement fonctionnel de développements |
| Référentiel de travail | Toujours rattaché à un référentiel Maître.Plusieurs référentiels de travail pour séparer les journaux d’exécution et isoler les environnements de développement/recette/production.Défini par :
|
| Référentiel Maitre | Défini par :
|
| Reverse | Permet de récupérer les métadonnées des datastores : nom, type de données, contraintes, … |
| Scénarios | Version compilée d’un élément :
Prêt à être exécuté dans n’importe quel contexte. Dispose d’un numéro de version. N’est pas modifiable. |
| Schéma de données | Schéma contenant les banques de données |
| Schéma de travail | Schéma contenant les objets temporaires |
| Schéma logique | Alias associé à différents schémas physiques. Ces schémas physiques :
|
| Schéma physique | Subdivision d’un serveur de donnéesUn schéma physique contient un schéma de données et un schéma de travail |
| Séquence | C’est une variable numérique incrémentée à chaque appel |
| Serveur de données | Ressource informatique capable de stocker des données et de les restituer. Il peut d’agir d’un SGBD, d’un serveur de fichiers, …ODI se connecte à un serveur de données via JDBC ou JNDIUn serveur de données contient plusieurs schémas de données |
| Traitement ou procédure | Suite de commandes s’exécutant sur
|
| Variable | Elément qui permet de stocker une valeur.Elle dispose d’un type : nombre, chaine, date, ..Elle dispose d’une portée :
|
Avant de décrire les différentes étapes de création d’un projet ODI, il est important de connaitre les modules qui le compose :
Module Topologie: Administration de l’architecture de l’infrastructure.Référence l’intégralité des ressources du système d’information :
- Technologies : oracle, teradata, fichiers, …
- Sources de données : serveurs, BDD
- Agent d’exécution : ou exécuter les scénarios
- Contextes : environnement de travail
Module Designer: Définition des métadonnées (colonnes, tables) et des règles.Développement du projet.
Module Operateur: Exploitation et surveillance de la production.Permet de :
- Surveiller les sessions en cours
- Arrêter une tâche en cours
- Redémarrer une tâche en attente
- Modifier le statut d’une tâche
Module Sécurité: Gestion des privilèges utilisateurs
Les grandes étapes de création d’un projet ODI
Module « Topologie »
Architecture physique
- Définir un serveur de données
- Ajouter un schéma physique au serveur de données
- Ajouter un agent physique
Contextes
- Ajouter un contexte
- Pour chaque schéma du contexte, attribuer les bonne ressources (ex : répertoire de fichier)
Architecture logique
- Ajouter un schéma logique
- Pour chaque contexte, attribuer un schéma physique
- Ajouter un agent logique*
- Pour chaque contexte, attribuer un agent physique
Module « Designer »
Modèles
- Ajouter un dossier de modèle
- Ajouter un modèle au dossier
- Ajouter un datastore au modèle
Projets
- Créer un nouveau projet
- Choisir un module de connaissance pour :
- Le chargement des données : LKM,
- L’intégration des données : IKM,
- Le contrôle d’intégrité des données : CKM,
- et la journalisation des données : JKM
- Créer une interface
- Créer un package qui contient cette interface
- Exécuter le package
Module « Operateur »
- Suivi des étapes d’exécution
Prochainement : description détaillée des étapes de création d’un projet ODI
Related Posts
About The Author
