Ingegneria dei dati: configurazione dello stack locale con Spark e Airflow

Mastering data engineering richiede la comprensione di come combinare strumenti disparati, come data warehouse, processori e orchestratori, in una pipeline coesa e pronta per la produzione.Questo corso fornisce le conoscenze pratiche e pratiche necessarie per costruire e gestire una piattaforma dati funzionante da zero. Entro la fine di questo corso, padroneggierai i passaggi pratici per impostare un ambiente cluster locale e implementare la strategia di stratificazione dei dati fondamentali (RAW, STG, CORE) utilizzata dai team di dati professionali. Cosa imparerai: * Scopri l'architettura e la funzione degli strumenti di ingegneria dei dati di base tra cui Spark, Airflow, Postgres e Jupyter. * Configurare un ambiente di sviluppo locale unificato utilizzando concetti di containerizzazione per l'impostazione dello stack riproducibile. * Applicare la logica di trasformazione dei dati utilizzando Spark per strutturare i dati in livelli intermedi (STG) e finali (CORE). * Praticare l'orchestrazione di flussi di lavoro di dati complessi utilizzando Airflow per garantire un'esecuzione affidabile e pianificata. * Comprendere e implementare i controlli di qualità e governance dei dati fondamentali all'interno della pipeline. * Progettare e popolare tabelle analitiche in un data warehouse relazionale (Postgres). Questo corso inizia con concetti e definizioni fondamentali, quindi ti guida passo dopo passo attraverso la configurazione del cluster e l'esecuzione di esercizi di acquisizione e trasformazione dei dati sempre più complessi.Il materiale si concentra sulla lettura e sull'applicazione di spiegazioni scritte e snippet di codice per sviluppare le tue abilità pratiche. Questo corso è perfetto per principianti assoluti o sviluppatori che cercano di passare a un ruolo di ingegneria dei dati.Non è richiesta alcuna esperienza precedente con questi strumenti specifici. Inizia a costruire le tue competenze essenziali di ingegneria dei dati oggi.