Analisando grandes conjuntos de dados com o Spark

O processamento de conjuntos de dados massivos requer a mudança da computação de máquina única para o poder distribuído. O Spark fornece a estrutura padrão do setor para lidar com dados que excedem os limites de memória local. Este curso orienta você através dos conceitos fundamentais de computação distribuída e das principais APIs do Spark. Você passará de escrever scripts básicos para escrever consultas otimizadas do Spark que processam dados em larga escala de forma eficiente. O que você vai aprender: 1. Entenda os fundamentos da computação distribuída, incluindo drivers, executores e gerenciadores de cluster. 2. Trabalhe com conjuntos de dados distribuídos resilientes (RDDs) para transformações de dados personalizadas de baixo nível. 3. Utilize o Spark DataFrames para manipulação de dados estruturados e otimização integrada. Consulte grandes conjuntos de dados usando o Spark SQL para mesclar bancos de dado relacionais com fluxos de trabalho de big data. 5. Aplique técnicas de ajuste de desempenho, como execução de consulta adaptável e particionamento eficiente. 6. Leia e escreva dados usando formatos colunares modernos como Parquet. O curso começa com a terminologia essencial e a arquitetura de sistemas distribuídos antes de passar para cenários práticos baseados em código. Você progredirá do carregamento básico de dados para a execução de transformações complexas e a análise de padrões de dados do mundo real. Projetado para analistas de dados iniciantes e desenvolvedores que desejam dimensionar suas habilidades para big data, este curso escrito não requer experiência prévia em sistemas distribuídos. Comece a ler hoje mesmo para descobrir o poder da análise de dados distribuídos com o Spark.