Conception de systèmes de streaming résilients sur GCP

Les entreprises modernes s'appuient sur des données instantanées pour prendre des décisions critiques, faisant des systèmes de streaming résilients un atout vital pour tout professionnel des données. Ce cours textuel vous guide à travers les concepts fondamentaux de la conception de pipelines de données tolérants aux pannes sur GCP. Vous passerez de la compréhension de l'ingestion de données de base à la construction d'architectures de streaming robustes et auto-évolutives qui gèrent les données arrivant en retard, les défaillances du système et présentent des informations en temps réel aux parties prenantes. Ce que vous apprendrez : - Comprendre l'architecture de base du streaming en temps réel et des systèmes pilotés par les événements. - Configurer Pub/Sub pour ingérer de manière fiable des flux de données à haut débit. - Construire des pipelines de streaming avec Dataflow pour traiter et transformer les données à la volée. - Appliquer des stratégies de fenêtrage et de déclenchement pour gérer les données tardives ou désordonnées. - Mettre en œuvre la surveillance des pipelines et l'observabilité de base pour assurer la résilience du système. - Concevoir des destinations de données en temps réel et des tableaux de bord pour le reporting des parties prenantes. Le cours commence par les concepts et la terminologie essentiels du streaming avant de passer à des explications écrites étape par étape sur la configuration de Pub/Sub et l'écriture de pipelines Dataflow. Vous terminerez en explorant les stratégies de surveillance et l'intégration de tableaux de bord à travers des exemples de code clairs et des présentations conceptuelles. Ce cours est conçu pour les futurs ingénieurs de données, développeurs et analystes qui débutent avec les architectures de streaming dans le cloud. Aucune expérience préalable avec GCP ou le traitement de données en temps réel n'est requise. Commencez à construire des systèmes fiables en temps réel dès aujourd'hui.