Big data : programmer hadoop en java
Formation
A distance
Avez-vous besoin d'un coach de formation?
Il vous aidera à comparer différents cours et à trouver la solution la plus abordable.
Description
-
Typologie
Formation
-
Méthodologie
A distance
À propos de cette formation :La disponibilité de grands volûmes de données représente de nouvelles opportunités et de nouveaux défits pour les entreprises de toute taille. Dans ce cours, vous apprendrez les bonnes pratiques et vous obtenez les compétences pratiques de programmation pour développer des solutions compatibles avec la plateforme Hadoop d'Apache grâce. Vous apprenez à tester et à déployer des solutions Big Data sur des clusters de serveurs standards.
À propos de cette formation
À qui s'adresse cette formation ?Cette formation s’adresse à toute personne amenée à utiliser, administrer ou déployer SharePoint dans une organisation. Elle est également utile aux personnes qui souhaitent développer ou administrer des applications SharePoint.
Les Avis
Les exploits du centre
Toutes les formations sont actualisées
L'évaluation moyenne est supérieure à 3,7
Plus de 50 opinions au cours des 12 derniers mois
Ce centre est avec Emagister depuis 16 ans.
Les matières
- Algorithmes
- Requêtes
Le programme
Présentation d'Hadoop
- Évaluer la valeur que peut apporter Hadoop à l'entreprise
- Examiner l'écosystème d'Hadoop
- Choisir un modèle de distribution adapté
Exécution des programmes en parallèle
Défier la complexité de la programmation parallèle
- Examiner les difficultés liées à l'exécution de programmes parallèles : algorithmes, échange des données
- Évaluer le mode de stockage et la complexité du Big Data
- Fragmenter et résoudre les problèmes à grande échelle
- Découvrir les tâches compatibles avec MapReduce
- Résoudre des problèmes métier courants
Mise en œuvre de tâches dans MapReduce
Appliquer le paradigme Hadoop MapReduce
- Configurer l'environnement de développement
- Examiner la distribution Hadoop
- Étudier les démons Hadoop
- Créer les différents composants des tâches MapReduce
- Analyser les différentes étapes de traitement MapReduce : fractionnement, mappage, lecture aléatoire et réduction
- Choisir et utiliser plusieurs outils de mappage et de réduction, exploiter les partitionneurs et les fonctions map et reduce intégrées, analyser les données en séries temporelles avec un second tri, rationaliser les tâches dans différents langages de programmation
Personnalisation de MapReduce
Résoudre les problèmes de manipulation des données
- Exécuter les algorithmes : tris, jointures et recherches parallèles, analyser les fichiers journaux, les données des média sociaux et les courriels
- Identifier les algorithmes parallèles liés au réseau, au processeur et aux E/S de disque
- Répartir la charge de travail avec les partitionneurs
- Contrôler l'ordre de groupement et de tri avec les comparateurs
- Mesurer les performances avec les compteurs
Persistance du Big Data avec les magasins de données distribuées
Bien-fondé des données distribuées
- Optimiser les performances du débit des données
- Utiliser la redondance pour récupérer les données
- Analyser la structure et l'organisation du HDFS
- Charger des données brutes et récupérer le résultat
- Lire et écrire des données avec un programme
- Manipuler les types SequenceFile d'Hadoop
- Partager des données de référence avec DistributedCache
- Passer du stockage structuré au stockage non structuré
- Appliquer les principes NoSQL avec une application de modèle à la lecture, se connecter à HBase à partir des tâches MapReduce, comparer HBase avec d'autres types de magasins de données NoSQL
Simplification de l'analyse des données avec les langages de requête
Exploiter la puissance de SQL avec Hive
- Structurer bases de données, les tables, les vues et les partitions
- Intégrer des travaux MapReduce avec des requêtes Hive
- Lancer des requêtes avec HiveQL
- Accéder aux servers Hive via IDBC, ajouter des fonctionnalités à HiveQL avec les fonctions définies par l'utilisateur
- Développer des scripts Pig Latin pour consolider les workflows, intégrer des requêtes Pig à Java
- Interagir avec les données par le biais de la console Grunt
- Étendre Pig avec les fonctions définies par l'utilisateur
Gestion et déploiement de solutions Big Data
Tester et déboguer le code Hadoop
- Enregistrer des événements importants à auditer et à déboguer
- Valider les spécifications avec MRUnit
- Déboguer en mode local
- Déployer la solution sur un cluster de production, utiliser des outils d'administration pour optimiser les performances, surveiller l'exécution des tâches via les interfaces utilisateur web
Informations complémentaires
Avez-vous besoin d'un coach de formation?
Il vous aidera à comparer différents cours et à trouver la solution la plus abordable.
Big data : programmer hadoop en java