Datenverarbeitung mit Apache Airflow: Grundlagen und Praxis

Mit zunehmender Komplexität von Datenumgebungen wird die manuelle Verwaltung von Skripten unmöglich. Apache Airflow bietet ein robustes Framework zur programmatischen Erstellung und Überwachung von Workflows und stellt so sicher, dass Ihre Daten pünktlich und im richtigen Format ankommen. Dieser Kurs führt Sie von den Grundlagen der Orchestrierung bis hin zur Verwaltung produktionsreifer Pipelines. Sie lernen, sauberen, skalierbaren Code für Ihre Workflows zu schreiben und diese in verschiedenen Umgebungen bereitzustellen, wobei Sie die Best Practices der Branche für Data Engineering anwenden. Was Sie lernen werden: - Die Kernkomponenten von Airflow verstehen, darunter Scheduler, Webserver und Metadatenbank. - Gerichtete azyklische Graphen (DAGs) mithilfe der TaskFlow-API und dynamischer Aufgabenzuordnung erstellen und verwalten. - Verschiedene Executors wie Celery und Kubernetes konfigurieren, um Ihre Workloads zu skalieren. - Erweiterte Pipeline-Logik mit Sensoren, Hooks und DAG-übergreifenden Abhängigkeiten implementieren. - Ihre Umgebung mit rollenbasierter Zugriffskontrolle (RBAC) und Datenverschlüsselung absichern. - Systemzustand und -leistung mithilfe integrierter Protokollierungs- und Observability-Muster überwachen. Der Kurs beginnt mit grundlegenden Begriffen und der Architektur, bevor er zur praktischen DAG-Erstellung übergeht. Sie lernen, wie Sie Airflow mit externen Diensten integrieren und die Infrastruktur mithilfe von containerisierten Umgebungen wie Docker und Cloud-basierten Kubernetes-Clustern verwalten. Dieser Kurs richtet sich an Einsteiger im Bereich Data Engineering oder DevOps, die Workflow-Orchestrierung von Grund auf lernen möchten. Vorkenntnisse in Airflow sind nicht erforderlich. Beginnen Sie noch heute mit dem Aufbau zuverlässiger Datenpipelines.