วิศวกรรมไปป์ไลน์ข้อมูลแบบแบตช์ด้วย Dataflow และ Dataproc

การประมวลผลชุดข้อมูลขนาดใหญ่ได้อย่างมีประสิทธิภาพเป็นหัวใจสำคัญของระบบธุรกิจอัจฉริยะและการรายงานที่ทันสมัย หลักสูตรนี้จะสอนวิธีเปลี่ยนจากการใช้สคริปต์ข้อมูลแบบง่ายๆ ไปสู่การออกแบบไปป์ไลน์แบบแบตช์ที่แข็งแกร่งและเป็นอัตโนมัติ ซึ่งสามารถจัดการกับการแปลงข้อมูลขนาดใหญ่ได้อย่างง่ายดาย คุณจะได้รับทักษะที่จำเป็นในการจัดการการเคลื่อนย้ายและการแปลงข้อมูลในขนาดใหญ่โดยใช้เทคโนโลยีคลาวด์มาตรฐานอุตสาหกรรม สิ่งที่คุณจะได้เรียนรู้: - ทำความเข้าใจแนวคิดพื้นฐานของวิศวกรรมข้อมูล รวมถึงรูปแบบ ETL/ELT และสถาปัตยกรรมประมวลผลแบบแบตช์ - สร้างงานประมวลผลข้อมูลแบบไร้เซิร์ฟเวอร์โดยใช้ Apache Beam บน Dataflow สำหรับการจัดการข้อมูลแบบรวมศูนย์ - กำหนดค่า Dataproc Serverless เพื่อรันแอปพลิเคชัน Spark โดยไม่จำเป็นต้องจัดการโครงสร้างพื้นฐานที่อยู่เบื้องหลัง - ประยุกต์ใช้การตรวจสอบคุณภาพข้อมูลและรูปแบบการสังเกตการณ์เพื่อให้มั่นใจถึงความน่าเชื่อถือและความถูกต้องของไปป์ไลน์ - จัดการเวิร์กโฟลว์ที่ซับซ้อนและจัดการการพึ่งพาระหว่างขั้นตอนการประมวลผลข้อมูลต่างๆ - ใช้การตรวจสอบและแจ้งเตือนที่ทันสมัยเพื่อระบุและแก้ไขข้อผิดพลาดของไปป์ไลน์เชิงรุก หลักสูตรเริ่มต้นด้วยคำจำกัดความหลักและหลักการทางสถาปัตยกรรม ก่อนที่จะเข้าสู่กลยุทธ์การนำไปใช้งานจริงโดยใช้ตรรกะที่อิงตาม SQL และ Python คุณจะได้อ่านคำอธิบายโดยละเอียดเกี่ยวกับการออกแบบไปป์ไลน์และสำรวจวิธีการจัดโครงสร้างโค้ดเพื่อความสามารถในการบำรุงรักษาและประสิทธิภาพ โปรแกรมนี้ออกแบบมาสำหรับผู้เริ่มต้นในวิศวกรรมข้อมูลที่มีความเข้าใจพื้นฐานเกี่ยวกับ SQL และ Python และพร้อมที่จะนำทักษะเหล่านั้นไปใช้กับการประมวลผลข้อมูลขนาดคลาวด์ เริ่มสร้างไปป์ไลน์ข้อมูลที่พร้อมใช้งานจริงได้แล้ววันนี้