Apache Spark 3 e Ingeniería de Big Data con Scala

Las demandas de datos modernas requieren herramientas que puedan manejar conjuntos de datos masivos a través de clústeres distribuidos con velocidad y confiabilidad.Este curso proporciona un camino claro para que los programadores hagan la transición a la ingeniería de big data al dominar los componentes principales del ecosistema Spark.Pasará de comprender las estructuras de datos básicas a construir tuberías de procesamiento distribuidas complejas que puedan manejar terabytes de información. Al final de este curso, tendrá un modelo mental sólido de cómo funcionan los sistemas distribuidos y las habilidades prácticas para escribir código Scala listo para producción para tareas intensivas en datos.Podrá navegar por las compensaciones entre diferentes API de Spark e implementar optimizaciones que garanticen que sus aplicaciones se ejecuten de manera eficiente a escala. Lo que aprenderás: - Comprenda la arquitectura de Spark y cómo administra la computación distribuida en un clúster. - Procese datos estructurados de manera eficiente utilizando las API expresivas de Spark SQL y DataFrame. - Aplique transformaciones de datos de tipo seguro con Datasets para un desarrollo de aplicaciones robusto y de mantenimiento. - Administre abstracciones de datos de bajo nivel y lógica personalizada utilizando conjuntos de datos distribuidos resilientes (RDD). - Optimice el rendimiento de las aplicaciones utilizando técnicas modernas como la ejecución de consultas adaptables y el barajado eficiente. - Implementar estrategias complejas de filtrado, agregación y unión de datos para conjuntos de datos a gran escala. - Practique la depuración y la supervisión de aplicaciones distribuidas para garantizar la integridad y el rendimiento de los datos. El curso comienza con definiciones fundamentales de computación distribuida y los internos de Spark antes de avanzar a través del procesamiento de datos estructurados y optimizaciones de bajo nivel.Cada módulo se centra en la lectura y el análisis de implementaciones de código para garantizar que pueda aplicar estos conceptos a escenarios del mundo real. Este curso está diseñado para desarrolladores que tienen un conocimiento básico de Scala y desean ingresar al mundo de los big data.No se requiere experiencia previa con Spark o sistemas distribuidos. Comience a crear soluciones de datos de alto rendimiento con Spark y Scala hoy mismo.