วิศวกรรมข้อมูลขนาดใหญ่ด้วยสกาล่า

ความต้องการข้อมูลสมัยใหม่ต้องการเครื่องมือที่สามารถจัดการชุดข้อมูลขนาดใหญ่ผ่านคลัสเตอร์ที่กระจายอยู่อย่างรวดเร็วและน่าเชื่อถือ หลักสูตรนี้จะช่วยให้นักเขียนโปรแกรมสามารถเปลี่ยนผ่านไปสู่วิศวกรรมข้อมูลขนาดใหญ่ได้ โดยการเรียนรู้ส่วนประกอบหลักของระบบนิเวศ Spark คุณจะเริ่มจากการเข้าใจโครงสร้างข้อมูลพื้นฐานไปสู่การสร้างระบบประมวลผลที่กระจายอยู่อย่างซับซ้อน ซึ่งสามารถจัดการข้อมูลได้หลายเทราไบต์ หลังจากจบหลักสูตรนี้ คุณจะมีความรู้เกี่ยวกับการทำงานของระบบกระจายและทักษะในการเขียนโค้ด Scala สำหรับงานที่ใช้ข้อมูลมาก คุณจะสามารถเลือกใช้ Spark API ต่าง ๆ และปรับปรุงให้เหมาะสมที่สุดเพื่อให้แน่ใจว่าแอพพลิเคชันของคุณทำงานได้อย่างมีประสิทธิภาพ คุณจะเรียนรู้อะไร - เข้าใจสถาปัตยกรรมของสปาร์ค และวิธีที่มันจัดการการคำนวณที่กระจายอยู่ทั่วคลัสเตอร์ - ประมวลผลข้อมูลที่มีโครงสร้างอย่างมีประสิทธิภาพ ใช้ Spark SQL และ DataFrame API - ใช้การแปลงข้อมูลแบบปลอดภัยกับชุดข้อมูลเพื่อการพัฒนาแอปพลิเคชันที่แข็งแกร่งและสามารถดูแลได้ - จัดการกับการสังเคราะห์ข้อมูลระดับต่ำ และตรรกะที่กำหนดเอง โดยใช้ชุดข้อมูลที่กระจายออกไปอย่างยืดหยุ่น (RDDs) - ปรับปรุงประสิทธิภาพของแอพพลิเคชัน ด้วยเทคนิคสมัยใหม่ เช่น การประมวลผลคำถามแบบปรับตัว และการสับไพ่อย่างมีประสิทธิภาพ - ใช้กลยุทธ์การกรองข้อมูล และการรวมข้อมูล สำหรับข้อมูลขนาดใหญ่ - ฝึกการดีบั๊กและติดตามแอพพลิเคชั่นที่กระจายไว้ เพื่อมั่นใจว่าข้อมูลมีความสมบูรณ์และประสิทธิภาพ หลักสูตรนี้เริ่มต้นด้วยการอธิบายพื้นฐานของการคำนวณแบบกระจายและส่วนภายในของ Spark ก่อนที่จะพัฒนาไปสู่การประมวลผลข้อมูลที่มีโครงสร้างและการปรับปรุงประสิทธิภาพระดับต่ำ ทุกโมดูลจะเน้นการอ่านและวิเคราะห์การปฏิบัติการโค้ดเพื่อทำให้แน่ใจว่าคุณสามารถนำแนวคิดเหล่านี้ไปใช้กับสถานการณ์ในโลกจริงได้ หลักสูตรนี้ออกแบบมาสำหรับนักพัฒนาที่มีความเข้าใจพื้นฐานของ Scala และต้องการเข้าสู่โลกของ big data ไม่จำเป็นต้องมีประสบการณ์ก่อนหน้านี้กับ Spark หรือระบบกระจาย เริ่มสร้างโซลูชันข้อมูลที่มีประสิทธิภาพสูง ด้วยสปาร์คและสกาล่าวันนี้