Advanced Streaming Big Data with Spark - eLearning

Chronologie du cours

1. Le runtime Spark

   Leçon 01

   • Comprendre les RDD Spark
   • Comprendre le DataFrame Spark
   • Vue d’ensemble de l’architecture d’exécution de Spark

2. ETL avec Spark

   Leçon 02

   • Transformations de carte
   • Les Transformations
   • Actions de base
   • Transformations de paires clé-valeur
   • Opérations de jointure
   • Opérations numériques sur les RDD et fonctions d’échantillonnage
   • Partitionnement dans Spark
   • Contrôle des partitions dans Spark
   • Utilisation de programmes externes avec Spark

3. SparkSQL et DataFrames 

   Leçon 03

   • Architecture de Spark SQL
   • Aperçu de l’API DataFrame
   • Création de DataFrames
   • Modèle de données DataFrame et schémas
   • Opérations de base sur les DataFrames
   • Fonctions DataFrame
   • Opérations ensemblistes et agrégations dans les DataFrames
   • Stockage et sortie de DataFrame
   • DÉMO Spark SQL et DataFrames

4. Introduction au traitement de flux avec Spark

   Leçon 04

   • Introduction à Spark Streaming
   • Introduction aux DStreams
   • Les opérations DStream

5. Traitement avec état avec Spark Streaming

   Leçon 05

   • Les opérations de l’État
   • Introduction à l’Event Sourcing
   • Démonstration du streaming avec état avec Spark

6. Opérations de fenêtre glissante avec Spark Streaming

   Leçon 06

   • Opérations de fenêtrage
   • Fonctions de fenêtrage
   • DÉMO des opérations de fenêtre glissante avec Spark Streaming

7. Introduction au streaming structuré   

   Leçon 07

   • Vue d’ensemble de la diffusion structurée
   • Modes de sortie et déclenchement avec Structured Streaming
   • DÉMO Introduction au streaming structuré

8. Introduction à Apache Kafka

   Leçon 08

   • Vue d’ensemble et architecture d’Apache Kafka
   • Messagerie avec Kafka
   • Démo : Installation locale d’Apache Kafka

9. Intégration de Kafka avec Spark Streaming    

   Leçon 09

   Utilisation de Spark Streaming avec Apache Kafka

10. Utiliser l’approche par récepteur

    Leçon 10

    • Démo : installation locale d’Apache Kafka
    • Utiliser l’approche directe
    • DÉMO Spark Streaming avec Apache Kafka en utilisant l’approche directe

11. Intégration de Kafka avec Structured Streaming

    Leçon 11

    • Streaming structuré et Kafka
    • Lecture et écriture de données dans Kafka avec Structured Streaming
    • DÉMO Kafka et Structured Streaming

12. Utilisation de Spark Streaming avec Kinesis

    Leçon 12

    • Utilisation des bibliothèques Producteur et Client Amazon Kinesis
    • DÉMO Introduction à Amazon Kinesis

13. Utilisation de Spark Streaming avec Kinesis

    Leçon 13

    • Utilisation de Spark Streaming avec Amazon Kinesis
    • DÉMO Utilisation de Spark Streaming avec Amazon Kinesis
    • Utilisation de Structured Streaming avec Amazon Kinesis
    • DÉMO Utilisation de Structured Streaming avec Amazon Kinesis

14. Intégrations supplémentaires de Spark Streaming

    Leçon 14

    • Spark Streaming avec MQTT
    • Spark Streaming et Apache Flume
    • Spark Streaming et Twitter
    • Spark Streaming et Snowflake
    • DÉMO Structured Streaming avec Snowflake