PySpark Foundations: praktyczne przetwarzanie dużych danych za pomocą Pythona

Ponieważ zbiory danych stają się zbyt duże, aby tradycyjne narzędzia mogły sobie z nimi poradzić, obliczenia rozproszone stają się niezbędne dla nowoczesnych specjalistów od danych.Ten kurs tekstowy wprowadza Cię do PySpark, interfejsu API Pythona dla Sparka, umożliwiając przetwarzanie i analizowanie ogromnych zbiorów danych z szybkością i wydajnością. Przejdziesz od przetwarzania danych na jednej maszynie do rozproszonych przepływów pracy Big Data.Czytając jasne wyjaśnienia i ćwicząc z fragmentami kodu w świecie rzeczywistym, opanujesz podstawowe pojęcia rozproszonego przechowywania, wykonywania zapytań i manipulacji danymi. Czego się nauczysz: - Zapoznaj się z podstawami przetwarzania rozproszonego, architekturą Spark i przejściem z tradycyjnych bibliotek danych. - Twórz i manipuluj odpornymi rozproszonymi zestawami danych (RDD) i wysokowydajnymi ramami danych Spark. - Zapytaj duże zbiory danych za pomocą Spark SQL, aby uruchomić znane zapytania relacyjne na rozproszonych danych. - Zastosuj nowoczesny interfejs API Pandas na Sparku, aby płynnie skalować istniejące przepływy pracy Pandas do dużych danych. - Zoptymalizuj potoki przetwarzania danych za pomocą buforowania, partycjonowania i wydajnych definicji schematu. - Poznaj podstawy uporządkowanego przesyłania strumieniowego do przetwarzania kanałów danych w czasie rzeczywistym. Kurs rozpoczyna się od podstawowej terminologii big data i podstawowej architektury Sparka, zanim przejdziemy do praktycznych operacji DataFrame i zapytań SQL.Następnie przejdziesz do technik optymalizacji wydajności i nowoczesnych interfejsów API skalowania danych poprzez uporządkowane pisemne wyjaśnienia i ćwiczenia kodowe. Ten kurs jest przeznaczony dla początkujących inżynierów danych, analityków danych i programistów Pythona, którzy chcą wejść w świat dużych danych.Nie jest wymagane wcześniejsze doświadczenie z systemami rozproszonymi, chociaż pomocne jest podstawowe zrozumienie Pythona i SQL. Zacznij czytać już dziś, aby odblokować moc obliczeń rozproszonych i skalować swoje umiejętności przetwarzania danych.