Costruire Data Pipeline con Shell, Airflow e Kafka

Nel mondo odierno basato sui dati, la capacità di spostare e trasformare i dati in modo efficiente è una competenza fondamentale per qualsiasi sviluppatore o professionista dei dati. Questo corso basato su testo ti guida attraverso i concetti fondamentali di ETL ed ELT, mostrandoti come costruire pipeline di dati affidabili da zero. Progredirai dalla comprensione delle teorie di base dell'integrazione dei dati alla costruzione di pipeline funzionali. Imparerai come automatizzare le attività con lo scripting Shell, orchestrare workflow complessi usando Airflow (incluse le moderne pattern dell'API TaskFlow) e gestire stream di dati in tempo reale con Kafka. Cosa imparerai: - Comprendere le differenze fondamentali tra le architetture ETL ed ELT e quando applicarle. - Scrivere script Shell per automatizzare le attività di estrazione, trasformazione e caricamento dati di base. - Orchestrare workflow di dati a più fasi utilizzando i DAG di Airflow e le moderne convenzioni dell'API TaskFlow. - Configurare Kafka per acquisire, elaborare e trasmettere dati di eventi in tempo reale. - Applicare pratiche moderne di pipeline, inclusa l'esecuzione containerizzata e la convalida di base dei dati. Il corso inizia con la terminologia essenziale e i concetti architetturali prima di passare a guide scritte passo-passo ed esercizi di configurazione. Esplorerai scenari pratici per l'elaborazione batch e lo streaming in tempo reale per costruire un set di competenze completo. Questo corso è progettato per i principianti dell'ingegneria dei dati, richiedendo solo una familiarità di base con la programmazione e nessuna esperienza precedente con le pipeline. Inizia a leggere oggi per padroneggiare gli strumenti che alimentano le moderne infrastrutture dati.