Inżynieria potoków danych wsadowych na platformie chmurowej

Nowoczesne organizacje polegają na aktualnych, dokładnych danych, aby kierować podejmowaniem decyzji, ale zarządzanie przetwarzaniem wsadowym na dużą skalę pozostaje złożonym wyzwaniem architektonicznym.Ten kurs zapewnia jasną ścieżkę do zrozumienia, jak skutecznie obsługiwać ogromne zbiory danych przy użyciu profesjonalnej infrastruktury chmury. Nauczysz się architektury i wykonywania solidnych potoków danych, przekształcając surowe zbiory danych w praktyczne informacje przy użyciu standardowych narzędzi branżowych i technologii bezserwerowych.Skupiając się na skalowalnym projekcie i wydajnej orkiestrze, zdobędziesz umiejętności niezbędne do dostarczania wiarygodnych danych do analizy biznesowej i raportowania. Czego się nauczysz: - Zrozum podstawowe zasady przetwarzania wsadowego i architektury potoku danych - Wdrażaj skalowalne transformacje danych za pomocą Dataflow i Apache Beam - Skonfiguruj bezserwerowe środowiska Spark za pomocą Dataproc w celu wydajnego zarządzania zasobami - Orkiestruj złożone przepływy pracy, aby zapewnić niezawodne i zautomatyzowane dostarczanie danych - Zastosuj kontrole jakości danych i praktyki monitorowania w celu utrzymania stanu rurociągu - Zintegruj zasady CI / CD w celu zautomatyzowanego testowania i wdrażania przepływów pracy danych Kurs zaczyna się od podstawowej terminologii i podstawowych pojęć, zanim przejdzie do praktycznych strategii wdrażania obsługi danych na dużą skalę i automatyzacji przepływu pracy.To uporządkowane podejście zapewnia zbudowanie solidnej podstawy teoretycznej przed zbadanie złożonych wzorców transformacji. Zaprojektowany dla początkujących inżynierów i analityków danych, ten kurs jest dostępny dla początkiujących bez wcześniejszego doświadczenia w infrastrukturze chmury lub projektowaniu rurociągów.Zacznij budować niezawodne podstawy danych dla swojej organizacji już dziś.