Formation Spark, introduction

• L’ère du Big Data
• Architecture et composants de la plateforme Hadoop
• HDFS
• NameNode / DataNode / RessourceManager
• Paradigme MapReduce et YARN

Introduction à Spark

• Qu’est-ce que Spark ?
• Spark vs MapReduce
• Fonctionnement : RDD, DataFrames, Data Sets
• Comment interagir avec Spark
• PySpark : programmer avec Spark en Python

Manipulation des données

• Formats basiques (fichiers textes, JSON, CSV, SequencesFiles, fichiers compressés)
• Interagir avec des sources de données externes : connecteurs Hive, JDC, Hbase, ElasticSearch, …

Spark Streaming

• Introduction à Spark Streaming
• La notion de « DStream »
• Principales sources de données
• Utilisation de l’API
• Manipulation des données

Spark SQL

• Initiation à Spark SQL
• Création de DataFrames
• Manipulation des DataFrames (opérations basiques, agrégations & Groupby, Missing Data)
• Chargement et stockage de données (avec Hive, JSON, etc…)

Spark ML avec MLlib

• Modélisation Statistique & Apprentissage
• Types de données (Vector / LabeledPoint / Model)
• Préparation des données
• Utilisation d’algorithme de MLlib (k-means / Régression logistique / arbre de discrimination / forêt aléatoire)
• Exemple de création d’un modèle et de son évaluation avec Spark MLlib sur un jeu de données

GraphX et GraphFrames

• Présentation de GraphX
• Principe de création des graphes
• API GraphX
• Présentation GraphFrames
• GraphX vs GraphFrames

Travaux pratiques

• Alternance d’apports théoriques, d’exercices pratiques et de mise en situation sous forme de travaux pratiques permettant de tester les différentes notions abordées avec le langage Python