Rekayasa Data dengan Apache Airflow: Dasar dan Praktik

Seiring bertambahnya kompleksitas lingkungan data, mengelola skrip manual menjadi tidak mungkin. Apache Airflow menyediakan kerangka kerja yang tangguh untuk membuat dan memantau alur kerja secara terprogram, memastikan data Anda tiba tepat waktu dan dalam format yang benar. Kursus ini akan membawa Anda dari pemahaman konsep orkestrasi dasar hingga mengelola pipeline tingkat produksi. Anda akan belajar menulis kode yang bersih dan terukur untuk alur kerja Anda dan menerapkannya di berbagai lingkungan sambil mengikuti praktik terbaik standar industri untuk rekayasa data. Apa yang akan Anda pelajari: - Memahami komponen inti Airflow termasuk penjadwal, server web, dan basis data metadata - Membuat dan mengelola Directed Acyclic Graphs (DAG) menggunakan API TaskFlow dan pemetaan tugas dinamis - Mengkonfigurasi berbagai eksekutor seperti Celery dan Kubernetes untuk menskalakan beban kerja Anda - Menerapkan logika pipeline tingkat lanjut dengan sensor, hook, dan dependensi lintas-DAG - Mengamankan lingkungan Anda menggunakan Kontrol Akses Berbasis Peran (RBAC) dan enkripsi data - Memantau kesehatan dan kinerja sistem menggunakan pola pencatatan dan pengamatan terintegrasi Materi dimulai dengan terminologi dan arsitektur dasar sebelum beralih ke konstruksi DAG praktis. Anda akan mempelajari cara mengintegrasikan Airflow dengan layanan eksternal dan mengelola infrastruktur menggunakan lingkungan berbasis kontainer seperti Docker dan klaster Kubernetes berbasis cloud. Kursus ini dirancang untuk pemula di bidang rekayasa data atau DevOps yang ingin mempelajari orkestrasi alur kerja dari awal. Tidak diperlukan pengalaman sebelumnya dengan Airflow. Mulailah membangun pipeline data yang andal hari ini.