Inżynieria danych z Apache Airflow: Podstawy i praktyka

W miarę zwiększania się złożoności środowisk danych ręczne zarządzanie skryptami staje się niemożliwe.Apache Airflow zapewnia solidne ramy programowania i monitorowania przepływów pracy, zapewniając, że dane dotrą na czas i we właściwym formacie. Ten kurs zabierze Cię od zrozumienia podstawowych koncepcji orkiestracji do zarządzania potokami produkcyjnymi.Nauczysz się pisać czysty, skalowalny kod dla swoich przepływów pracy i wdrażać je w różnych środowiskach, przestrzegając standardowych najlepszych praktyk w zakresie inżynierii danych. Czego się nauczysz: - Zrozum podstawowe komponenty Airflow, w tym harmonogram, serwer WWW i bazę metadanych - Twórz i zarządzaj ukierunkowanymi wykresami acyklicznymi (DAG) za pomocą interfejsu API TaskFlow i dynamicznego mapowania zadań - Skonfiguruj różne wykonawce, takie jak Celery i Kubernetes, aby skalować obciążenia - Wdrażaj zaawansowaną logikę potoku za pomocą czujników, haczyków i zależności między DAG - Zabezpiecz swoje środowisko za pomocą kontroli dostępu opartej na rolach (RBAC) i szyfrowania danych - Monitoruj kondycję i wydajność systemu za pomocą zintegrowanych wzorców rejestrowania i obserwacji Materiał zaczyna się od podstawowej terminologii i architektury, zanim przejdziesz do praktycznej konstrukcji DAG.Zbadasz, jak zintegrować Airflow z usługami zewnętrznymi i zarządzać infrastrukturą za pomocą środowisk kontenerowych, takich jak Docker i klastry Kubernetes oparte na chmurze. Ten kurs jest przeznaczony dla początkujących w inżynierii danych lub DevOps, którzy chcą nauczyć się orkiestracji przepływu pracy od podstaw.Nie jest wymagane wcześniejsze doświadczenie z Airflow. Zacznij budować niezawodne potoki danych już dziś.