Skalierbare Datenverarbeitung mit PySpark

Dieser Kurs zeigt Python-Entwicklern, wie sie die Leistungsfähigkeit von Spark für leistungsstarkes Data Engineering nutzen können. Sie lernen, wie Sie Rohdaten in verwertbare Erkenntnisse umwandeln und gleichzeitig sicherstellen, dass Ihre Anwendungen clusterübergreifend skaliert werden können. Was Sie lernen werden: - Verstehen Sie die Kernarchitektur des verteilten Computings und das Spark-Ausführungsmodell. - Manipulieren Sie große Datensätze mit Spark DataFrames und der Spark SQL API. - Optimieren Sie die Anwendungsleistung durch effektive Partitionierungs- und Caching-Techniken. - Implementieren Sie die Echtzeit-Datenverarbeitung mit Structured Streaming für die sofortige Analyse. - Üben Sie Datenreinigungs- und Transformationsworkflows für umfangreiche Analysen. - Arbeiten Sie mit modernen Speicherformaten wie Parquet und Delta Lake, um die Datenintegrität zu gewährleisten. Der Kurs beginnt mit der grundlegenden Terminologie und den Konzepten der Einrichtung, geht über Datenmanipulationstechniken und endet mit Optimierungsstrategien für Produktionsumgebungen.Dieses Programm wurde für Anfänger entwickelt und erfordert nur Grundkenntnisse in Python.Beginnen Sie Ihre Reise in die Welt des Big Data Engineering.