Administration de hadoop pour solutions big data

Stockage et traitement des données

Installation du système de fichiers distribuéHadoop (HDFS)

• Définir l'architecture globale et ses principaux composants
• Configurer et installer le système de fichiers
• Exécuter des commandes depuis la console
• Accéder aux fichiers en lecture et en écriture

Préparer l'environnement pour MapReduce

• Revoir les principes de MapReduce
• Découvrir les démons informatiques
• Examiner une tâche MapReduce

Définition des spécifications d'un cluster Hadoop

Planification de l'architecture

• Choisir le matériel adéquat
• Concevoir un cluster évolutif

Développement du cluster

• Installer les démons Hadoop
• Optimiser l'architecture du réseau

Configuration du cluster

Préparation du système HDFS

• Paramétrer les principales options de configuration
• Configurer les redondance, réplication et affectation des blocs

Déploiement de MapReduce

• Installer et paramétrer l'environnement MapReduce
• Réaliser l'équilibrage de charge par la connaissance des racks

Optimiser la robustesse du système HDFS

Créer un système de fichiers tolérant aux pannes

• Isoler les éléments dysfonctionnels
• Garantir la haute disponibilité
• Déclencher manuellement le basculement
• Automatiser le basculement avec Zookeeper

Optimiser la fédération des nœuds de nommage

• Développer des ressources HDFS
• Gérer les volumes des espaces de noms

Présentation de YARN

• Analyser l'architecture de YARN
• Identifier les nouveaux démons

Gestion des ressources et de l'intégrité du cluster

Affectation des ressources

• Définir des quotas pour limiter l'utilisation du système HDFS
• Planificateurs pour hiérarchiser l'accès à MapReduce

Gestion de HDFS

• Démarrer et arrêter des démons Hadoop
• Surveiller l'état du système HDFS
• Ajouter et supprimer des nœuds de données

Administration de MapReduce

• Gérer les tâches MapReduce, suivre l'avancement avec des outils d'analyse, mise en service et arrêt des nœuds de calcul

Maintenance du cluster

Utiliser les outils standards intégrés

• Gérer et déboguer les processus avec les mesures JVM
• Vérifier l'état d'Hadoop

Utiliser des outils de personnalisation complémentaires

• Évaluer les performances avec Ganglia et Chukwa
• Benchmarking pour garantir des performances continues

Développement des fonctionnalités d'Hadoop

Simplifier l'accès aux informations

• Activer l'envoi de requêtes de type SQL avec Hive
• Installer Pig pour créer des tâches MapReduce

Intégrer des éléments supplémentaires de l'écosystème

• Afficher le système HDFS sous forme de tableau avec HBase
• Configurer Oozie pour la planification des workflows

Définition de règles pour le trafic entrant et sortant

Faciliter l'entrée / la sortie de données génériques

• Déplacer des blocs de données depuis ou vers Hadoop
• Transférer des données HDFS via HTTP avec WebHDES

Recueillir des données d'application

• Récupérer des fichiers journaux provenant de différentes sources avec Flume, importer et exporter des informations sur les bases de données relationnelles avec Sqoop

Planification des stratégies de sauvegarde, de récupération et de sécurité

• Gérer les pannes matérielles courantes
• Sécuriser le cluster Hadoop