Construction de pipelines de données avec Shell, Airflow et Kafka

Dans le monde actuel axé sur les données, la capacité à déplacer et transformer efficacement les données est une compétence essentielle pour tout développeur ou professionnel des données. Ce cours textuel vous guide à travers les concepts fondamentaux de l'ETL et de l'ELT, en vous montrant comment construire des pipelines de données fiables à partir de zéro. Vous progresserez de la compréhension des théories de base de l'intégration des données à la construction de pipelines fonctionnels. Vous apprendrez à automatiser les tâches avec des scripts Shell, à orchestrer des workflows complexes à l'aide d'Airflow (y compris les modèles modernes de l'API TaskFlow) et à gérer des flux de données en temps réel avec Kafka. Ce que vous apprendrez : - Comprendre les principales différences entre les architectures ETL et ELT et quand appliquer chacune. - Écrire des scripts Shell pour automatiser les tâches de base d'extraction, de transformation et de chargement de données. - Orchestrer des flux de données en plusieurs étapes à l'aide des DAG Airflow et des conventions modernes de l'API TaskFlow. - Configurer Kafka pour ingérer, traiter et streamer des données d'événements en temps réel. - Appliquer des pratiques de pipeline modernes, y compris l'exécution conteneurisée et la validation de données de base. Le cours commence par la terminologie essentielle et les concepts architecturaux avant de passer à des guides écrits étape par étape et à des exercices de configuration. Vous explorerez des scénarios pratiques pour le traitement par lots et le streaming en temps réel afin de développer un ensemble de compétences complet. Ce cours est conçu pour les débutants en ingénierie des données, ne nécessitant qu'une familiarité de base avec la programmation et aucune expérience préalable des pipelines. Commencez à lire dès aujourd'hui pour maîtriser les outils qui alimentent l'infrastructure de données moderne.