Apache Spark 3 und Big Data Engineering mit Scala

Moderne Datenanforderungen erfordern Tools, die riesige Datensätze über verteilte Cluster hinweg schnell und zuverlässig verarbeiten können. Dieser Kurs bietet Programmierern einen klaren Weg zum Übergang in das Big Data Engineering, indem Sie die Kernkomponenten des Spark-Ökosystems beherrschen.Sie werden vom Verständnis grundlegender Datenstrukturen zum Aufbau komplexer, verteilter Verarbeitungspipelines übergehen, die Terabytes an Informationen verarbeiten. Am Ende dieses Kurses verfügen Sie über ein solides mentales Modell für die Funktionsweise verteilter Systeme und die praktischen Fähigkeiten, um produktionsbereiten Scala-Code für datenintensive Aufgaben zu schreiben.Sie werden in der Lage sein, die Kompromisse zwischen verschiedenen Spark-APIs zu navigieren und Optimierungen zu implementieren, die sicherstellen, dass Ihre Anwendungen effizient im Maßstab laufen. Was Sie lernen werden: - Verstehen Sie die Architektur von Spark und wie es verteiltes Computing über einen Cluster verwaltet. - Verarbeiten Sie strukturierte Daten effizient mit den ausdrucksstarken Spark SQL- und DataFrame-APIs. - Wenden Sie typsichere Datentransformationen mit Datasets für eine robuste und wartbare Anwendungsentwicklung an. - Verwalten Sie Datenabstraktionen auf niedriger Ebene und benutzerdefinierte Logik mit Resilient Distributed Datasets (RDDs). - Optimieren Sie die Anwendungsleistung mit modernen Techniken wie Adaptive Query Execution und effizientem Shuffling. - Implementieren Sie komplexe Datenfilterungs-, Aggregations- und Verknüpfungsstrategien für große Datensätze. - Üben Sie das Debuggen und Überwachen verteilter Anwendungen, um Datenintegrität und Leistung sicherzustellen. Der Kurs beginnt mit grundlegenden Definitionen von verteiltem Computing und Spark-Interna, bevor er durch strukturierte Datenverarbeitung und Optimierungen auf niedriger Ebene fortschreitet.Jedes Modul konzentriert sich auf das Lesen und Analysieren von Codeimplementierungen, um sicherzustellen, dass Sie diese Konzepte auf reale Szenarien anwenden können. Dieser Kurs richtet sich an Entwickler, die über ein grundlegendes Verständnis von Scala verfügen und in die Welt von Big Data einsteigen möchten, ohne dass Vorkenntnisse mit Spark oder verteilten Systemen erforderlich sind. Erstellen Sie noch heute leistungsstarke Datenlösungen mit Spark und Scala.