Rozwój potoków przepływu danych z Apache Beam

Nowoczesna inżynieria danych wymaga zdolności do przetwarzania ogromnych zbiorów danych w czasie rzeczywistym bez zarządzania złożoną infrastrukturą. Ten kurs poprowadzi Cię przez proces budowania solidnych, bezserwerowych potoków danych, które obsługują zarówno historyczne dane wsadowe, jak i zdarzenia strumieniowego przesyłania danych na żywo. Czego się nauczysz: - Zrozum podstawowe pojęcia Apache Beam i jak działa na Dataflow. - Wdrażaj strategie okien, znaki wodne i wyzwalacze, aby obsługiwać spóźnione dane. - Zdefiniuj uporządkowane dane za pomocą schematów, aby uprościć logikę potoku i poprawić wydajność. - Zastosuj transformacje stanowe za pomocą interfejsów API stanu i timera do zaawansowanego przetwarzania zdarzeń. - Skonfiguruj różnorodne źródła i zlewy, aby zintegrować się z różnymi systemami przechowywania i przesyłania wiadomości. - Ćwicz nowoczesne techniki obserwacji i debuggowania rurociągów w celu niezawodnych przepływów pracy produkcyjnych. Kurs zaczyna się od podstawowych definicji i modelu Beam, a następnie przechodzi do złożonych wzorców przesyłania strumieniowego i najlepszych praktyk w zakresie optymalizacji rurociągów. Ten program jest przeznaczony dla początkujących, którzy chcą wejść w świat inżynierii danych, bez wcześniejszego doświadczenia w tworzeniu rurociągów.