Apache Spark 3 và Kỹ thuật Dữ liệu Lớn với Scala

Nhu cầu dữ liệu hiện đại đòi hỏi các công cụ có thể xử lý các tập dữ liệu khổng lồ trên các cụm phân tán với tốc độ và độ tin cậy. Khóa học này cung cấp một lộ trình rõ ràng cho các lập trình viên chuyển sang lĩnh vực kỹ thuật dữ liệu lớn bằng cách làm chủ các thành phần cốt lõi của hệ sinh thái Spark. Bạn sẽ đi từ việc hiểu các cấu trúc dữ liệu cơ bản đến việc xây dựng các quy trình xử lý phân tán phức tạp có thể xử lý hàng terabyte thông tin. Khi kết thúc khóa học này, bạn sẽ có một mô hình tư duy vững chắc về cách thức hoạt động của các hệ thống phân tán và các kỹ năng thực tế để viết mã Scala sẵn sàng cho sản xuất cho các tác vụ chuyên sâu về dữ liệu. Bạn sẽ có thể điều hướng các đánh đổi giữa các API Spark khác nhau và triển khai các tối ưu hóa đảm bảo ứng dụng của bạn chạy hiệu quả ở quy mô lớn. Những gì bạn sẽ học: - Hiểu kiến trúc của Spark và cách nó quản lý tính toán phân tán trên một cụm. - Xử lý dữ liệu có cấu trúc một cách hiệu quả bằng cách sử dụng các API Spark SQL và DataFrame biểu cảm. - Áp dụng các phép biến đổi dữ liệu an toàn kiểu với Datasets để phát triển ứng dụng mạnh mẽ và dễ bảo trì. - Quản lý các trừu tượng hóa dữ liệu cấp thấp và logic tùy chỉnh bằng cách sử dụng Resilient Distributed Datasets (RDDs). - Tối ưu hóa hiệu suất ứng dụng bằng các kỹ thuật hiện đại như Adaptive Query Execution và xáo trộn hiệu quả. - Triển khai các chiến lược lọc, tổng hợp và kết hợp dữ liệu phức tạp cho các tập dữ liệu quy mô lớn. - Thực hành gỡ lỗi và giám sát các ứng dụng phân tán để đảm bảo tính toàn vẹn và hiệu suất dữ liệu. Khóa học bắt đầu với các định nghĩa nền tảng về tính toán phân tán và nội bộ Spark trước khi tiến tới xử lý dữ liệu có cấu trúc và tối ưu hóa cấp thấp. Mỗi mô-đun tập trung vào việc đọc và phân tích các triển khai mã để đảm bảo bạn có thể áp dụng các khái niệm này vào các tình huống thực tế. Khóa học này được thiết kế cho các nhà phát triển có kiến thức cơ bản về Scala và muốn bước vào thế giới dữ liệu lớn. Không yêu cầu kinh nghiệm trước đó với Spark hoặc các hệ thống phân tán. Bắt đầu xây dựng các giải pháp dữ liệu hiệu suất cao với Spark và Scala ngay hôm nay.