Talend Open Studio Data Integration : Initiation + Approfondissement

- Introduction Problématique d'intégration de données IntégrationOpérationnelle et Décisionnelle Outils ETL (Extract TransformLoad) disponibles Talend Open Studio : présentation, licences,lien avec Eclipse Support disponible : documentation, communauté,… Atelier : Installation et présentation de l'environnementTalend Open Studio - Découvrir l'interface Les perspectives et les vues Talend Utilisation du BusinessModeler Les jobs : grille, palette de composants Les fluxprincipaux (main) La notion de schéma : types descolonnes Premiers composants : entrée, sortie, générationde flux Atelier pratique : création et exécution d'un jobsimple, génération de contenu dans un fichier - Les principaux composants de Talend Composants d'entrée (tFileInput,tMysqlInput, …) Génération de contenu (tRowGenerator,tFixedFlowInput, ...) Sorties et affichage (tLogRow, tFileOutput,tMysqlOutput, …) Logique et chaînage des composants Suivipas à pas des traces de l'exécution du job Gestion desrejets Transformations simples (filtre, tri, remplacement,jointure) Atelier pratique : génération de contenu dans une basede données, extraction et traitement des données pour affichage enconsole - Garantir la pérennité des jobs Versionset statutsdes jobs Les métadonnées :propriétés et schémas. Ladécouverte de schéma pour les fichiers CSV Récupération desschémas de bases de données Mises à jour des jobs depuis lesmétadonnées Atelier pratique : insérer les sources et cibles dedonnées dans les métadonnées du référentiel - Variables et contextes Utiliser des variables dans unjob (tSetGlobalVar) Mise en place d'un contexte localau job Groupes decontexte dans le référentiel Les métadonnées comme contextes Atelier pratique : utiliser une variable dans un job,contextualiser les paramètres d'une métadonnées, créer uncontexte de test, et de production - Le mappage de données : tMap Le composant ETL par excellence Gérer les entrées : fluxprincipal, secondaires, nommage des flux Gérer les sorties :l'éditeur intégré de la tMap Filtrer les données : enentrée, sortie Sorties conjointes, capture des rejets de sortie,de jointure interne L'éditeur d'expression Les performances Atelier pratique : extraction multi-sources,multi-destinations avec une tMap, sur un exemple complet - Orchestration des jobs, gestion d'erreurs Exécutions parallèles desous-jobs DéclencheursTalend (triggers) Enchaînementde sous-jobs et de composants (OnSubjobOK, OnComponentOK) Gestiondes erreurs de composants, sous-job (OnComponentError,OnSubjobError) Composantde départ, et de fin (tPreJob, tPostJob) Attraperet lever des erreurs : tWarn, tDie, tLogCatcher Atelier pratique : assembler plusieurs jobs en un seul,factoriser la gestion d'erreurs pour générer un fichier decompte-rendu - Les flux de programmation : liens iterate Différencier les fluxprincipaux des flux iterate Boucles et programmation via tLoop,tForeach Passer d'un flux principal à un flux iterate, etl'inverse (tFlowToIterate, tIterateToFlow) Synchronisationde jobs avec les tWaitForFile, tWaitForSocket, tWaitForSQL Atelier pratique : paralléliser des sous-jobs,synchroniser les jobs avec un événementexterne - Utilisation avancée Utilisation de composantsévolués : Java ou expressions régulières Laspécificité des flux XMLdans Talend Réutilisationdu code : les routines Atelier : Utilisation des composants tJavaRow,tJavaFlex, utilisation de l'éditeur Java embarqué, déploiementd'une routine personnalisée - Déboguage dans Talend Rappels sur le débogage de traces Utilisation du mode DebugJava : perspective Debug, mode pas à pas Visualisation etmodification à chaud des variables Atelier : Debuggage basique/avancé de tâches - Déploiement et industrialisation Rappel sur les contextes Export des jobs pour exécution sur unserveur Passage de contexte entre jobs, à l'exécution Utilisationd'un fichier pour charger le contexte (tContextLoad) Atelier : Déploiement de tâches et chargementdynamique du contexte - Utilisation avancée Utilisation de composants évolués : Java ou expressionsrégulières Création de logs spécifiques Gestion des fluxXML Réutilisation du code Atelier : Utilisation des composants tJavaRow, tJavaFlex -création de logs avec tCatch, tDie ... - utilisation de l'éditeurJava embarqué - Les composants Talend Concepts essentiels pour étendre Talend Open Studio Créationde la maquette du composant avec tJavaFlex / interfacegraphique Découvrir la forge Talend et ses composantscommunautaires Intégration dans Talend Open Studio des pluginscréés ou téléchargés Atelier : Création d'uncomposant simple via tJavaFlex, intégration decomposants de la forge Talend