Formation Administration de Hadoop pour solutions Big Data

Administration d'Hadoop : Stockage et traitement des données

Installation du système de fichiers distribuéHadoop (HDFS) Définir l'architecture globale et ses principaux composants
Configurer et installer le système de fichiers
Exécuter des commandes depuis la console
Accéder aux fichiers en lecture et en écriture Préparer l'environnement pour MapReduce Revoir les principes de MapReduce
Découvrir les démons informatiques
Examiner une tâche MapReduce

Administration d'Hadoop : Définition des spécifications d'un cluster Hadoop

Planification de l'architecture Choisir le matériel adéquat
Concevoir un cluster évolutif Développement du cluster Installer les démons Hadoop
Optimiser l'architecture du réseau

Configuration du cluster

Préparation du système HDFS Paramétrer les principales options de configuration
Configurer les redondance, réplication et affectation des blocs Déploiement de MapReduce Installer et paramétrer l'environnement MapReduce
Réaliser l'équilibrage de charge par la connaissance des racks

Optimiser la robustesse du système HDFS

Créer un système de fichiers tolérant aux pannes Isoler les éléments dysfonctionnels
Garantir la haute disponibilité
Déclencher manuellement le basculement
Automatiser le basculement avec Zookeeper Optimiser la fédération des nœuds de nommage Développer des ressources HDFS
Gérer les volumes des espaces de noms Présentation de YARN Analyser l'architecture de YARN
Identifier les nouveaux démons

Administration d'Hadoop: Gestion des ressources et de l'intégrité du cluster

Affectation des ressources Définir des quotas pour limiter l'utilisation du système HDFS
Planificateurs pour hiérarchiser l'accès à MapReduce Gestion de HDFS Démarrer et arrêter des démons Hadoop
Surveiller l'état du système HDFS
Ajouter et supprimer des nœuds de données Administration de MapReduce Gérer les tâches MapReduce, suivre l'avancement avec des outils d'analyse, mise en service et arrêt des nœuds de calcul

Maintenance du cluster

Utiliser les outils standards intégrés Gérer et déboguer les processus avec les mesures JVM
Vérifier l'état d'Hadoop Utiliser des outils de personnalisation complémentaires Évaluer les performances avec Ganglia et Chukwa
Benchmarking pour garantir des performances continues

Développement des fonctionnalités d'Hadoop

Simplifier l'accès aux informations Activer l'envoi de requêtes de type SQL avec Hive
Installer Pig pour créer des tâches MapReduce Intégrer des éléments supplémentaires de l'écosystème Afficher le système HDFS sous forme de tableau avec HBase
Configurer Oozie pour la planification des workflows

Définition de règles pour le trafic entrant et sortant

Faciliter l'entrée / la sortie de données génériques Déplacer des blocs de données depuis ou vers Hadoop
Transférer des données HDFS via HTTP avec WebHDES Recueillir des données d'application Récupérer des fichiers journaux provenant de différentes sources avec Flume, importer et exporter des informations sur les bases de données relationnelles avec Sqoop

Planification des stratégies de sauvegarde, de récupération et de sécurité

Gérer les pannes matérielles courantes
Sécuriser le cluster Hadoop