Pipelines de données pratiques avec Apache Airflow

Découvrez comment automatiser et gérer des processus de données complexes avec Apache Airflow, l'outil standard de l'industrie pour l'orchestration des flux de travail. Ce cours fournit une introduction complète et basée sur du texte à la création de pipelines de données fiables.Vous passerez des concepts de base à l'application pratique, en apprenant à définir, planifier et surveiller vos flux de travail entièrement à travers le code. À la fin, vous aurez les compétences fondamentales pour créer des pipelines de données robustes, répétables et observables pour vos propres projets. Ce que vous apprendrez: - Comprendre les concepts de base d'Airflow, y compris les DAG, les opérateurs, les tâches et son architecture sous-jacente. - Créez votre premier pipeline de données à partir de zéro, en définissant les dépendances de tâches et en planifiant des exécutions régulières. - Utilisez l'API TaskFlow moderne pour écrire des pipelines de données propres, intuitifs et natifs Python. - Apprenez à utiliser Hooks and Connections pour interagir en toute sécurité avec des systèmes externes tels que des bases de données et des services cloud. - Pratiquer le transfert de données entre les tâches efficacement en utilisant le mécanisme XComs d'Airflow. - Définir les dépendances et la lignée des données à l'aide de fonctionnalités modernes telles que Data-Aware Scheduling et Assets. - Explorez différents exécuteurs Airflow et comprenez les principes de mise à l'échelle de votre orchestration de données. Le cours commence par les principes fondamentaux de l'orchestration des données et les composants clés d'Airflow, puis vous progresserez à travers des exercices pratiques et écrits pour construire et gérer des pipelines de données complets, renforçant votre compréhension à chaque étape. Ce cours est conçu pour les débutants complets.Aucune expérience préalable avec Apache Airflow ou l'orchestration de données n'est requise, bien qu'une compréhension de base de Python sera bénéfique. Commencez à construire des pipelines de données automatisés dès aujourd'hui.