Разработка приложений для обработки данных с использованием Apache Airflow: основы и практика.

По мере усложнения сред обработки данных управление скриптами, написанными вручную, становится невозможным. Apache Airflow предоставляет надежную платформу для программного создания и мониторинга рабочих процессов, гарантируя своевременную доставку данных в правильном формате. Этот курс проведет вас от понимания базовых концепций оркестровки до управления конвейерами производственного уровня. Вы научитесь писать чистый, масштабируемый код для ваших рабочих процессов и развертывать их в различных средах, следуя лучшим отраслевым практикам в области проектирования данных. Что вы узнаете: - Понимание основных компонентов Airflow, включая планировщик, веб-сервер и базу данных метаданных - Создание и управление направленными ациклическими графами (DAG) с использованием API TaskFlow и динамического сопоставления задач - Настройка различных исполнителей, таких как Celery и Kubernetes, для масштабирования рабочих нагрузок - Реализация расширенной логики конвейера с использованием датчиков, хуков и зависимостей между DAG - Защита вашей среды с помощью управления доступом на основе ролей (RBAC) и шифрования данных - Мониторинг состояния и производительности системы с использованием интегрированных шаблонов логирования и мониторинга Материал начинается с базовой терминологии и архитектуры, а затем переходит к практическому построению DAG. Вы изучите, как интегрировать Airflow с внешними сервисами и управлять инфраструктурой с использованием контейнеризированных сред, таких как Docker и облачные кластеры Kubernetes. Этот курс предназначен для начинающих в области инженерии данных или DevOps, которые хотят изучить оркестрацию рабочих процессов с нуля. Предварительный опыт работы с Airflow не требуется. Начните создавать надежные конвейеры данных уже сегодня.