Spark Foundations: przewodnik po rozproszonym przetwarzaniu danych

W miarę wykładniczego wzrostu zbiorów danych tradycyjne narzędzia przetwarzania na pojedynczych maszynach mają problemy z nadążaniem za nimi. Ten pisemny kurs przeprowadzi Cię przez podstawowe pojęcia Sparka, pomagając przejść od podstawowej obsługi danych do przetwarzania rozproszonego.Zrozumiesz, jak Spark zarządza tolerancją na błędy, jak działa jego architektura i jak pisać wydajne zapytania dla ogromnych zbiorów danych. Czego się nauczysz: - Zrozum podstawową architekturę Sparka i jak różni się ona od tradycyjnych struktur, takich jak Hadoop. - Wyjaśnij mechanikę odpornych rozproszonych zestawów danych (RDD) i jak zapewniają odporność na błędy w klastrach. - Zastosuj nowoczesne interfejsy API Spark SQL i DataFrame do zapytań, filtrowania i agregowania danych strukturalnych na dużą skalę. - Przeanalizuj, jak Spark wykonuje zadania, w tym transformacje, działania i leniwą ocenę. - Ćwicz pisanie zoptymalizowanych procedur przetwarzania danych poprzez uporządkowane ćwiczenia pisemne i przewodniki po kodzie. Zaczniesz od opanowania podstawowej terminologii obliczeń rozproszonych i koncepcji architektonicznych, zanim przejdziesz do praktycznych struktur kodu.Lekcje tekstowe poprowadzą Cię przez pracę z RDD, nowoczesnymi ramami danych i podstawowymi technikami zapytań. Ten kurs jest przeznaczony dla początkujących analityków danych, programistów i aspirujących inżynierów danych, którzy chcą nauczyć się rozproszonych obliczeń od podstaw bez wcześniejszego doświadczenia Spark. Zacznij czytać już dziś, aby zbudować solidne podstawy w nowoczesnym rozproszonym przetwarzaniu danych.