การพัฒนา Dataflow Pipeline ด้วย Apache Beam

วิศวกรรมข้อมูลสมัยใหม่ต้องการความสามารถในการประมวลผลชุดข้อมูลขนาดใหญ่แบบเรียลไทม์โดยไม่ต้องจัดการโครงสร้างพื้นฐานที่ซับซ้อน หลักสูตรนี้จะแนะนำคุณตลอดกระบวนการสร้างไปป์ไลน์ข้อมูลแบบไร้เซิร์ฟเวอร์ที่แข็งแกร่ง ซึ่งรองรับทั้งข้อมูลแบทช์ในอดีตและเหตุการณ์สตรีมมิ่งแบบสด คุณจะเริ่มต้นด้วยการทำความเข้าใจคำศัพท์พื้นฐานและสถาปัตยกรรมของการประมวลผลข้อมูลแบบรวมศูนย์ สิ่งที่คุณจะได้เรียนรู้: - ทำความเข้าใจแนวคิดหลักของ Apache Beam และวิธีการทำงานบน Dataflow - ใช้กลยุทธ์การทำ Windowing, Watermarks และ Triggers เพื่อจัดการข้อมูลที่มาถึงล่าช้า - กำหนดข้อมูลที่มีโครงสร้างโดยใช้ Schemas เพื่อลดความซับซ้อนของตรรกะไปป์ไลน์และปรับปรุงประสิทธิภาพ - ใช้การแปลงแบบ Stateful โดยใช้ State and Timer APIs สำหรับการประมวลผลเหตุการณ์ขั้นสูง - กำหนดค่าแหล่งที่มาและปลายทางที่หลากหลายเพื่อรวมเข้ากับระบบจัดเก็บข้อมูลและระบบส่งข้อความต่างๆ - ฝึกฝนเทคนิคการสังเกตการณ์และแก้ไขข้อบกพร่องของไปป์ไลน์ที่ทันสมัยสำหรับเวิร์กโฟลว์การผลิตที่เชื่อถือได้ หลักสูตรเริ่มต้นด้วยคำจำกัดความที่จำเป็นและโมเดล Beam ก่อนที่จะก้าวไปสู่รูปแบบการสตรีมมิ่งที่ซับซ้อนและแนวทางปฏิบัติที่ดีที่สุดสำหรับการเพิ่มประสิทธิภาพไปป์ไลน์ โปรแกรมนี้เหมาะสำหรับผู้เริ่มต้นที่ต้องการเข้าสู่โลกของวิศวกรรมข้อมูล โดยไม่จำเป็นต้องมีประสบการณ์ในการพัฒนาไปป์ไลน์มาก่อน เริ่มสร้างโซลูชันข้อมูลที่ปรับขนาดได้ตั้งแต่วันนี้