Ingénierie des données avec Apache Beam et les pipelines Python

Dans le paysage des données moderne, la capacité à traiter efficacement des flux d'informations massifs est une compétence essentielle pour tout professionnel des données. Ce cours offre une introduction complète à la construction de pipelines de traitement de données unifiés qui restent portables sur divers moteurs d'exécution. Vous progresserez de la compréhension des concepts fondamentaux du traitement distribué à la construction de pipelines fonctionnels qui gèrent des transformations de données complexes. À la fin de ce cours, vous serez en mesure d'architecturer des flux de travail robustes qui gèrent avec confiance les données historiques batch et les informations de streaming en temps réel. Ce que vous apprendrez : - Comprendre l'architecture centrale d'Apache Beam et le modèle unifié pour les données batch et streaming. - Appliquer des transformations essentielles pour nettoyer, filtrer et agréger des ensembles de données complexes en utilisant Python. - Implémenter des fonctionnalités avancées de pipeline, y compris les entrées latérales, les sorties latérales et les transformations composites. - Configurer des stratégies de fenêtrage et des déclencheurs pour gérer efficacement les données arrivant en retard dans les flux en temps réel. - Déployer et gérer des pipelines évolutifs en utilisant Cloud Dataflow pour un traitement de niveau entreprise. - Intégrer Beam SQL pour effectuer des requêtes relationnelles sur des flux de données distribués. - Pratiquer les bases modernes de l'observabilité des données pour surveiller la santé des pipelines et assurer la qualité des données. Le programme commence par la terminologie fondamentale et la vision de Beam avant de passer à la construction pratique de pipelines, couvrant tout, des opérations d'E/S de base à la logique de streaming complexe. Chaque section se concentre sur des explications écrites et des exemples basés sur du code pour renforcer votre compréhension du calcul distribué. Ce cours est conçu pour les futurs ingénieurs de données, développeurs de logiciels et analystes qui débutent avec Apache Beam et souhaitent acquérir une base solide en orchestration de big data. Aucune expérience préalable des systèmes distribués n'est requise. Commencez à construire des solutions de données évolutives dès aujourd'hui en maîtrisant les fondamentaux d'Apache Beam.