Автоматизация рабочего процесса данных с помощью Apache Airflow и Python

В этом курсе вы узнаете, как использовать Apache Airflow для обеспечения структуры, надежности и автоматизации задач по обработке данных. Вы перейдете от написания изолированных скриптов к разработке надежных, повторяемых рабочих процессов, которые автоматически обрабатывают планирование и отчеты об ошибках. Что вы узнаете: - Понимание основной архитектуры Airflow, включая планировщики, работники и исполнители. - Создание направленных ациклических графов (DAG) для определения четких зависимостей задач и логики выполнения. - Примените операторы Python и TaskFlow API для создания современных, читаемых конвейеров данных. - Внедрение надежной обработки ошибок, повторных попыток и оповещений для поддержания работоспособности конвейера. - Практикуем планирование сложных рабочих процессов, которые будут запускаться через определенные интервалы или на основе внешних триггеров. - Управление и мониторинг готовых к производству задач с использованием стандартных инструментов управления Airflow. Курс начинается с основных определений и концепций настройки, продвигаясь через создание вашего первого DAG и в продвинутые методы управления конвейером. Он предназначен для начинающих и энтузиастов Python, которые хотят войти в мир инженерии данных без предыдущего опыта оркестрации рабочего процесса. Начните свое путешествие в автоматизированное проектирование данных и оптимизируйте процесс разработки.