Apache Spark 3 i inżynieria Big Data z Scalą

Nowoczesne wymagania dotyczące danych wymagają narzędzi, które mogą obsługiwać ogromne zbiory danych w rozproszonych klastrach z szybkością i niezawodnością. Ten kurs zapewnia programistom jasną ścieżkę do przejścia na inżynierię dużych danych poprzez opanowanie podstawowych komponentów ekosystemu Spark.Będziesz przechodzić od zrozumienia podstawowych struktur danych do budowania złożonych, rozproszonych potoków przetwarzania, które mogą obsługiwać terabajty informacji. Pod koniec tego kursu będziesz miał solidny model mentalny działania systemów rozproszonych i praktyczne umiejętności pisania gotowego do produkcji kodu Scala dla zadań wymagających dużych ilości danych.Będziesz w stanie poruszać się po kompromisach między różnymi interfejsami API Spark i wdrażać optymalizacje, które zapewnią wydajne działanie aplikacji na dużą skalę. Czego się nauczysz: - Zapoznaj się z architekturą Sparka i sposobem zarządzania rozproszonymi obliczeniami w klastrze. - Wydajnie przetwarzaj ustrukturyzowane dane za pomocą wyrazistych interfejsów API Spark SQL i DataFrame. - Zastosuj transformacje danych bezpiecznych dla typu za pomocą zestawów danych w celu zapewnienia niezawodnego i łatwego utrzymania aplikacji. - Zarządzaj abstrakcjami danych niskiego poziomu i niestandardową logiką za pomocą elastycznych rozproszonych zestawów danych (RDD). - Zoptymalizuj wydajność aplikacji za pomocą nowoczesnych technik, takich jak Adaptive Query Execution i wydajne shufflowanie. - Wdrażaj złożone strategie filtrowania, agregacji i łączenia danych dla dużych zbiorów danych. - Ćwicz debugowanie i monitorowanie aplikacji rozproszonych, aby zapewnić integralność i wydajność danych. Kurs zaczyna się od podstawowych definicji obliczeń rozproszonych i wewnętrznych elementów Sparka, zanim przejdzie przez uporządkowane przetwarzanie danych i optymalizacje niskiego poziomu.Każdy moduł koncentruje się na czytaniu i analizowaniu implementacji kodu, aby zapewnić możliwość zastosowania tych koncepcji w rzeczywistych scenariuszach. Ten kurs jest przeznaczony dla programistów, którzy mają podstawową wiedzę na temat Scala i chcą wejść do świata dużych danych.Nie jest wymagane wcześniejsze doświadczenie z Sparkiem lub systemami rozproszonymi. Zacznij tworzyć wysokowydajne rozwiązania danych za pomocą platform Spark i Scala już dziś.