Traitement de flux en temps réel avec Spark 3 et Scala

Les entreprises modernes s'appuient sur des informations instantanées pour rester compétitives. Apprendre à traiter les données au fur et à mesure qu'elles arrivent est une compétence essentielle pour tout professionnel des données moderne. Ce cours vous emmène des concepts fondamentaux à la construction de solutions de streaming robustes en temps réel. Vous apprendrez à gérer les flux de données continus, à gérer l'état et à vous intégrer avec des systèmes externes en utilisant le langage de programmation Scala. Ce que vous apprendrez : - Comprendre l'architecture centrale de Spark Structured Streaming et le modèle de traitement par micro-lots - Appliquer les principes de programmation fonctionnelle Scala pour transformer et agréger des flux de données en temps réel - Intégrer Spark avec des systèmes de messagerie externes comme Kafka pour ingérer des données d'événements à haute vélocité - Gérer les opérations avec état et le fenêtrage pour analyser les données sur des intervalles de temps spécifiques - Implémenter des modèles modernes de data lake en utilisant Delta Lake pour des sinks de streaming fiables et conformes ACID - Pratiquer l'écriture de tests unitaires pour la logique de streaming afin d'assurer la fiabilité des pipelines et la qualité des données Le programme commence par la terminologie essentielle et le modèle d'exécution Spark avant de passer à des exercices écrits pour construire des pipelines de streaming de bout en bout. Vous progresserez de simples transformations de données à des intégrations complexes multi-sources. Conçu pour les débutants en streaming, ce cours est idéal pour les ingénieurs logiciels et les professionnels des données ayant une compréhension de base de la programmation. Commencez votre voyage dans l'ingénierie des données en temps réel dès aujourd'hui.