Apache Spark 3 e ingegneria dei Big Data con Scala

Le moderne esigenze di dati richiedono strumenti in grado di gestire enormi set di dati su cluster distribuiti con velocità e affidabilità.Questo corso fornisce un percorso chiaro per i programmatori per la transizione verso l'ingegneria dei big data padroneggiando i componenti principali dell'ecosistema Spark.Passerai dalla comprensione delle strutture di dati di base alla costruzione di pipeline di elaborazione distribuite complesse in grado di gestire terabyte di informazioni. Alla fine di questo corso, avrai un solido modello mentale di come funzionano i sistemi distribuiti e le abilità pratiche per scrivere codice Scala pronto per la produzione per attività ad alta intensità di dati.Sarai in grado di navigare i trade-off tra diverse API Spark e implementare ottimizzazioni che garantiscono che le tue applicazioni funzionino in modo efficiente su scala. Cosa imparerai: - Comprendere l'architettura di Spark e come gestisce il calcolo distribuito su un cluster. - Elaborare i dati strutturati in modo efficiente utilizzando le API Spark SQL e DataFrame. - Applica trasformazioni di dati di tipo sicuro con Datasets per uno sviluppo di applicazioni robusto e manutenibile. - Gestisci astrazioni di dati di basso livello e logica personalizzata utilizzando Resilient Distributed Datasets (RDD). - Ottimizza le prestazioni delle applicazioni utilizzando tecniche moderne come Adaptive Query Execution e shuffling efficiente. - Implementare complesse strategie di filtraggio, aggregazione e unione di dati per set di dati su larga scala. - Praticare il debug e il monitoraggio delle applicazioni distribuite per garantire l'integrità e le prestazioni dei dati. Il corso inizia con le definizioni fondamentali di calcolo distribuito e interni Spark prima di progredire attraverso l'elaborazione dei dati strutturati e le ottimizzazioni di basso livello.Ogni modulo si concentra sulla lettura e l'analisi delle implementazioni di codice per assicurarsi di poter applicare questi concetti a scenari reali. Questo corso è progettato per gli sviluppatori che hanno una conoscenza di base di Scala e vogliono entrare nel mondo dei big data.Non è richiesta alcuna esperienza precedente con Spark o sistemi distribuiti. Inizia a creare soluzioni dati ad alte prestazioni con Spark e Scala oggi stesso.