Architettura Manager-Worker e elaborazione dati distribuita

L'elaborazione distribuita dei dati è la spina dorsale dei moderni sistemi di big data, ma la gestione del coordinamento tra più macchine è una sfida complessa.Questo corso di solo testo ti guida attraverso il funzionamento interno dell'architettura manager-worker di MapReduce, mostrandoti come i set di dati su larga scala vengono suddivisi, elaborati e combinati in modo affidabile. Otterrai una chiara comprensione concettuale di come funzionano i sistemi distribuiti senza perderti in configurazioni specifiche del fornitore. Leggendo questo corso, passerai da una comprensione di base dell'elaborazione dei dati alla padronanza dei modelli architettonici che mantengono i sistemi di cluster computing in esecuzione senza problemi.Analizzerai come i manager assegnano le attività, come i lavoratori segnalano lo stato e come il sistema si ripara quando l'hardware fallisce inevitabilmente. Cosa imparerai: - Comprendere i principi fondamentali dell'elaborazione distribuita dei dati e il paradigma MapReduce - Analizzare i ruoli e i modelli di comunicazione tra il nodo manager e i nodi di lavoro - Traccia come i dati vengono divisi, mappati, mischiati e ridotti in un cluster - Valutare le strategie di pianificazione delle attività e i meccanismi di tolleranza ai guasti come la riesecuzione dei lavoratori - Esplora i moderni modelli distribuiti, inclusa la località dei dati e i concetti di base della containerizzazione Il corso inizia con le definizioni fondamentali di elaborazione distribuita e topologia cluster prima di passare al flusso di esecuzione passo-passo di un lavoro MapReduce.Esplora quindi scenari di ripristino di emergenza, tecniche di ottimizzazione della rete e come questi concetti classici influenzano le moderne pipeline di dati cloud. Questo corso è progettato per ingegneri del software principianti, aspiranti sviluppatori di piattaforme di dati e architetti di sistema che desiderano una solida base teorica nei sistemi distribuiti.Non è richiesta alcuna esperienza precedente con la gestione dei cluster. Inizia a leggere oggi stesso per padroneggiare le basi architettoniche dell'elaborazione distribuita dei big data.