Talend Open Studio Data Integration : Initiation

- Introduction Problématique d'intégration de données IntégrationOpérationnelle et Décisionnelle Outils ETL (Extract TransformLoad) disponibles Talend Open Studio : présentation, licences,lien avec Eclipse Support disponible : documentation, communauté,… Atelier : Installation et présentation de l'environnementTalend Open Studio - Découvrir l'interface Les perspectives et les vues Talend Utilisation du BusinessModeler Les jobs : grille, palette de composants Les fluxprincipaux (main) La notion de schéma : types descolonnes Premiers composants : entrée, sortie, générationde flux Atelier pratique : création et exécution d'un jobsimple, génération de contenu dans un fichier - Les principaux composants de Talend Composants d'entrée (tFileInput,tMysqlInput, …) Génération de contenu (tRowGenerator,tFixedFlowInput, ...) Sorties et affichage (tLogRow, tFileOutput,tMysqlOutput, …) Logique et chaînage des composants Suivipas à pas des traces de l'exécution du job Gestion desrejets Transformations simples (filtre, tri, remplacement,jointure) Atelier pratique : génération de contenu dans une basede données, extraction et traitement des données pour affichage enconsole - Garantir la pérennité des jobs Versionset statutsdes jobs Les métadonnées :propriétés et schémas. Ladécouverte de schéma pour les fichiers CSV Récupération desschémas de bases de données Mises à jour des jobs depuis lesmétadonnées Atelier pratique : insérer les sources et cibles dedonnées dans les métadonnées du référentiel - Variables et contextes Utiliser des variables dans unjob (tSetGlobalVar) Mise en place d'un contexte localau job Groupes decontexte dans le référentiel Les métadonnées comme contextes Atelier pratique : utiliser une variable dans un job,contextualiser les paramètres d'une métadonnées, créer uncontexte de test, et de production - Le mappage de données : tMap Le composant ETL par excellence Gérer les entrées : fluxprincipal, secondaires, nommage des flux Gérer les sorties :l'éditeur intégré de la tMap Filtrer les données : enentrée, sortie Sorties conjointes, capture des rejets de sortie,de jointure interne L'éditeur d'expression Les performances Atelier pratique : extraction multi-sources,multi-destinations avec une tMap, sur un exemple complet - Orchestration des jobs, gestion d'erreurs Exécutions parallèles desous-jobs DéclencheursTalend (triggers) Enchaînementde sous-jobs et de composants (OnSubjobOK, OnComponentOK) Gestiondes erreurs de composants, sous-job (OnComponentError,OnSubjobError) Composantde départ, et de fin (tPreJob, tPostJob) Attraperet lever des erreurs : tWarn, tDie, tLogCatcher Atelier pratique : assembler plusieurs jobs en un seul,factoriser la gestion d'erreurs pour générer un fichier decompte-rendu.