Scala und Spark für Big Data-Analysen

Da Datensätze für eine einzelne Maschine zu groß werden, müssen moderne Entwickler und Dateningenieure von der traditionellen lokalen Verarbeitung zu verteiltem Computing übergehen.Dieser textbasierte Kurs führt Sie durch die Kernkonzepte der Big Data-Verarbeitung und zeigt Ihnen, wie Sie die Geschwindigkeit von Apache Spark mithilfe der eleganten, funktionalen Paradigmen von Scala nutzen können. Sie werden vom Schreiben von einfachem lokalem Code zum Entwerfen robuster verteilter Datenpipelines übergehen, die clusterübergreifend skaliert werden können.Durch das Lesen klarer konzeptioneller Erklärungen und die Analyse praktischer Codebeispiele bauen Sie eine starke Grundlage in verteilten Systemen auf. Was Sie lernen werden: - Verstehen Sie die Grundprinzipien des verteilten Rechnens, der Clusterausführung und des Speichermodells von Spark. - Wenden Sie funktionale Programmierkonzepte in Scala an, um verteilte Datensammlungen sicher und effizient zu manipulieren. - Beherrschen Sie die strukturierten APIs von Spark, einschließlich DataFrames und Datasets, für optimierte Datentransformationen. - Schreiben Sie ausdrucksstarke Spark SQL-Abfragen, um umfangreiche strukturierte und halbstrukturierte Daten zu analysieren. - Konfigurieren Sie Datenpipelines zum Lesen und Schreiben in moderne Speicherformate wie Parquet und Delta Lake. - Üben Sie das Erkennen und Lösen häufiger Leistungsengpässe bei verteilten Datenaufgaben. Der Kurs beginnt mit der grundlegenden Big-Data-Terminologie, der grundsätzlichen Syntax von Scala und den wichtigsten verteilten Konzepten, bevor er sich der praktischen Datenmanipulation, dem strukturierten API-Design und den praktischen Optimierungsworkflows widmet. Dieser Kurs richtet sich an Anfänger von Big Data, einschließlich Entwicklern, Datenanalysten und aufstrebenden Dateningenieuren, die die verteilte Verarbeitung von Grund auf lernen möchten, ohne vorherige Cluster-Erfahrung zu benötigen. Beginnen Sie noch heute mit dem Lesen, um die Leistungsfähigkeit der verteilten Datenanalyse mit Scala und Spark zu erschließen.