Formation Big Data : Développement de solutions avec Hadoop
Formation
À Levallois-Perret
Avez-vous besoin d'un coach de formation?
Il vous aidera à comparer différents cours et à trouver la solution la plus abordable.
Description
-
Typologie
Formation
-
Lieu
Levallois-perret
La gestion des ensembles de données volumineux offre aux entreprises de toutes tailles de nouvelles opportunités et de nouveaux défis à relever. Au cours de cette formation, vous allez acquérir les compétences pratiques de programmation nécessaires pour développer des solutions compatibles avec la plateforme Hadoop d'Apache grâce auxquelles vous pourrez traiter efficacement différents types de Big Data
Les sites et dates disponibles
Lieu
Date de début
Date de début
Les Avis
Le programme
Présentation d'Hadoop
Évaluer la valeur que peut apporter Hadoop à l'entreprise
Examiner l'écosystème d'Hadoop
Choisir un modèle de distribution adapté
Défier la complexité de la programmation parallèle Examiner les difficultés liées à l'exécution de programmes parallèles : algorithmes, échange des données
Évaluer le mode de stockage et la complexité du Big Data Programmation parallèle avec MapReduce Fragmenter et résoudre les problèmes à grande échelle
Découvrir les tâches compatibles avec MapReduce
Résoudre des problèmes métier courants
Appliquer le paradigme Hadoop MapReduce Configurer l'environnement de développement
Examiner la distribution Hadoop
Étudier les démons Hadoop
Créer les différents composants des tâches MapReduce
Analyser les différentes étapes de traitement MapReduce : fractionnement, mappage, lecture aléatoire et réduction Créer des tâches MapReduce complexes Choisir et utiliser plusieurs outils de mappage et de réduction, exploiter les partitionneurs et les fonctions map et reduce intégrées, coordonner les tâches avec le planificateur de workflows Oozie, rationaliser les tâches dans différents langages de programmation
Résoudre les problèmes de manipulation des données Exécuter les algorithmes : tris, jointures et recherches parallèles, analyser les fichiers journaux, les données des média sociaux et les courriels Mise en œuvre des partitionneurs et des comparateurs Identifier les algorithmes parallèles liés au réseau, au processeur et aux E/S de disque
Répartir la charge de travail avec les partitionneurs
Contrôler l'ordre de groupement et de tri avec les comparateurs
Mesurer les performances avec les compteurs
Bien-fondé des données distribuées Optimiser les performances du débit des données
Utiliser la redondance pour récupérer les données Interfacer avec le système de fichiers distribué Hadoop Analyser la structure et l'organisation du HDFS
Charger des données brutes et récupérer le résultat
Lire et écrire des données avec un programme
Manipuler les types SequenceFile d'Hadoop
Partager des données de référence avec DistributedCache Structurer les données avec HBase Passer du stockage structuré au stockage non structuré
Appliquer les principes NoSQL avec une application de modèle à la lecture, se connecter à HBase à partir des tâches MapReduce, comparer HBase avec d'autres types de magasins de données NoSQL
Exploiter la puissance de SQL avec Hive Structurer bases de données, les tables, les vues et les partitions
Extraire, transformer et charger les données
Lancer des requêtes avec HiveQL
Accéder aux servers Hive via IDBC, ajouter des fonctionnalités à HiveQL avec les fonctions définies par l'utilisateur Exécuter des workflows avec Pig Développer des scripts Pig Latin pour consolider les workflows, intégrer des requêtes Pig à Java
Interagir avec les données par le biais de la console Grunt
Étendre Pig avec les fonctions définies par l'utilisateur
Tester et déboguer le code Hadoop Enregistrer des événements importants à auditer et à déboguer
Valider les spécifications avec MRUnit
Déboguer en mode local Déployer, surveiller et affiner les performances Déployer la solution sur un cluster de production, utiliser des outils d'administration pour optimiser les performances, surveiller l'exécution des tâches via les interfaces utilisateur web
Avez-vous besoin d'un coach de formation?
Il vous aidera à comparer différents cours et à trouver la solution la plus abordable.
Formation Big Data : Développement de solutions avec Hadoop