Créer un projet ODI

ODI est une plate-forme d’intégration de données avec une approche ELT (Extract, Load, Transform). ODI va permettre de constituer un ensemble de données homogène: un datawarehouse par exemple à partir de données provenant de sources diverses (base de données, fichiers plats, …).

Les différents concepts d’ODI

Concept Définition
Agent logique Alias associé à différents agents physiques.
Agent physique Module d’exécution d’ODI qui gère le processus d’intégration (gère l’exécution des scénarios) :

  • Génère les scripts à exécuter
  • Journalise les étapes
Datastore Contient la structure des données (BDD : tables, vues,… ; Fichier : ASCII, EXCEL, …). Il peut être créé de 2 façons :En effectuant un reverse (surtout prévu pour les SGBD)En saisissant manuellement la structure des données (surtout prévu pour les fichiers plats)
Dossier Un dossier regroupe des packages, des interfaces et des traitements
Flux Chemin emprunté par les données entres les sources et la cible dans une interface ODI
Fonction utilisateur Macro définie pour différentes technologies, fournissant un alias unique, pour une transformation personnalisée ou du code récurrent.
Interface Permet d’alimenter une cible à partir d’une ou plusieurs sources qui doivent être reliées entre elles, en utilisant éventuellement des fonctions de transformation et des filtres
Marqueur Pour mettre en avant des éléments d’un projetClassiquement, on représente sous cette forme :

  • Avancement de la réalisation (25%, 50%, 75%, 100%)
  • Etat de l’objet (Développement, à valider, validé, en production)
Modèle de données Les sources de données sont modélisées sous forme de tables appelés Datastore constitués de colonnes représentant les attributs, et lignes représentant les différentes entrées.Les modèles de données permettent d’organiser toute cette information
Module de connaissance Modèles de génération de code.Séquence des étapes à réaliser.Implémentation de chacune des étapes.Le code est généré à l’exécution en fonction des modules de connaissances.Il existe plusieurs types de modules : chargement, intégration, …
Package Un package est une suite d’étapes comprenant des interfaces, des variables, des traitements, …Ces étapes sont chainées entre elles et définissent un workflow
Projet Regroupement fonctionnel de développements
Référentiel de travail Toujours rattaché à un référentiel Maître.Plusieurs référentiels de travail pour séparer les journaux d’exécution et isoler les environnements de développement/recette/production.Défini par :

  • Module « Designer » : métadonnées (tables, contraintes, …), interfaces, packages, scénarios
  • Module « Opérateur » : journal d’exécution
Référentiel Maitre Défini par :

  • Module « Sécurité » : droits, utilisateurs
  • Module « Topologie » : architecture physique, logique et contexte
Reverse Permet de récupérer les métadonnées des datastores : nom, type de données, contraintes, …
Scénarios Version compilée d’un élément :

  • Package
  • Interface
  • Procédure
  • Variable

Prêt à être exécuté dans n’importe quel contexte.

Dispose d’un numéro de version.

N’est pas modifiable.

Schéma de données Schéma contenant les banques de données
Schéma de travail Schéma contenant les objets temporaires
Schéma logique Alias associé à différents schémas physiques. Ces schémas physiques :

  • Présentent des structures de données similaires
  • Reposent sur une même technologie
  • Appartiennent à des contextes différents
Schéma physique Subdivision d’un serveur de donnéesUn schéma physique contient un schéma de données et un schéma de travail
Séquence C’est une variable numérique incrémentée à chaque appel
Serveur de données Ressource informatique capable de stocker des données et de les restituer. Il peut d’agir d’un SGBD, d’un serveur de fichiers, …ODI se connecte à un serveur de données via JDBC ou JNDIUn serveur de données contient plusieurs schémas de données
Traitement ou procédure Suite de commandes s’exécutant sur

  • Une base de données
  • Un système d’exploitation
Variable Elément qui permet de stocker une valeur.Elle dispose d’un type : nombre, chaine, date, ..Elle dispose d’une portée :

  • Variable globale : GLOBAL.<nom_variable>
  • Variable de projet : <code_projet>.<nom_variable>

Avant de décrire les différentes étapes de création d’un projet ODI, il est important de connaitre les modules qui le compose :

Module Topologie: Administration de l’architecture de l’infrastructure.Référence l’intégralité des ressources du système d’information :

  • Technologies : oracle, teradata, fichiers, …
  • Sources de données : serveurs, BDD
  • Agent d’exécution : ou exécuter les scénarios
  • Contextes : environnement de travail

Module Designer: Définition des métadonnées (colonnes, tables) et des règles.Développement du projet.

Module Operateur: Exploitation et surveillance de la production.Permet de :

  • Surveiller les sessions en cours
  • Arrêter une tâche en cours
  • Redémarrer une tâche en attente
  • Modifier le statut d’une tâche

Module Sécurité: Gestion des privilèges utilisateurs

Les grandes étapes de création d’un projet ODI

Module « Topologie »

Architecture physique

  1. Définir un serveur de données
  2. Ajouter un schéma physique au serveur de données
  3. Ajouter un agent physique

Contextes

  1. Ajouter un contexte
  2. Pour chaque schéma du contexte, attribuer les bonne ressources (ex : répertoire de fichier)

Architecture logique

  1. Ajouter un schéma logique
  2. Pour chaque contexte, attribuer un schéma physique
  3. Ajouter un agent logique*
  4. Pour chaque contexte, attribuer un agent physique

Module « Designer »

Modèles

  1. Ajouter un dossier de modèle
  2. Ajouter un modèle au dossier
  3. Ajouter un datastore au modèle

Projets

  1. Créer un nouveau projet
  2. Choisir un module de connaissance pour :
    • Le chargement des données : LKM,
    • L’intégration des données : IKM,
    • Le contrôle d’intégrité des données : CKM,
    • et la journalisation des données : JKM
  3. Créer une interface
  4. Créer un package qui contient cette interface
  5. Exécuter le package

Module « Operateur »

  1. Suivi des étapes d’exécution

 

Prochainement : description détaillée des étapes de création d’un projet ODI

Add a Comment

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *