Usługa Azure Databricks do inżynierii danych: podstawy usługi Lakehouse

Usługa Azure Databricks stała się wiodącym rozwiązaniem do tworzenia niezawodnych architektur Lakehouse, które łączą najlepsze cechy hurtowni danych i zbiorów danych typu „data lake”. Ten kurs tekstowy prowadzi od podstawowych pojęć inżynierii danych w chmurze do projektowania kompleksowych potoków danych.Zdobędziesz jasne zrozumienie sposobu przechowywania, przetwarzania i zarządzania danymi przy użyciu standardowych wzorców branżowych i nowoczesnych narzędzi zarządzania. Czego się nauczysz: - Zapoznaj się z podstawową architekturą zasad Databricks, DBFS i Lakehouse. - Przetwarzaj ustrukturyzowane i półstrukturalne dane za pomocą PySpark i Spark SQL. - Wdrażaj niezawodne warstwy pamięci masowej za pomocą Delta Lake, Delta Tables i ewolucji schematu. - Zautomatyzuj ciągłe pobieranie danych za pomocą Databricks Autoloader i Delta Live Tables. - Skonfiguruj zarządzanie danymi, kontrolę dostępu i bezpieczeństwo za pomocą Unity Catalog. - Wdrażaj i organizuj gotowe do produkcji przepływy pracy i potoki danych. Zaczniesz od zbadania podstawowych pojęć dotyczących danych w chmurze i podstawowych środowisk Spark, zanim przejdziesz do praktycznego rozwoju potoku.Pisemne lekcje przeprowadzą Cię przez rzeczywiste scenariusze, w tym transformację danych, automatyzację pobierania i administrację obszaru roboczego. Ten kurs jest przeznaczony dla początkujących inżynierów danych, administratorów baz danych i analityków danych, którzy chcą przejść na role danych w chmurze.Nie jest wymagane wcześniejsze doświadczenie z Databricks lub platformami chmurowymi. Zacznij czytać już dziś, aby zbudować podstawy nowoczesnej inżynierii danych w chmurze.