Analyse de grands ensembles de données avec Spark

Le traitement d'ensembles de données massifs nécessite de passer de l'informatique sur une seule machine à la puissance distribuée. Spark fournit le cadre standard de l'industrie pour gérer des données qui dépassent les limites de la mémoire locale. Ce cours vous guide à travers les concepts fondamentaux de l'informatique distribuée et des API principales de Spark. Vous passerez de l'écriture de scripts de base à l'écriture de requêtes Spark optimisées qui traitent efficacement les données à grande échelle. Ce que vous apprendrez : 1. Comprendre les fondamentaux de l'informatique distribuée, y compris les pilotes, les exécuteurs et les gestionnaires de cluster. 2. Travailler avec des RDD (Resilient Distributed Datasets) pour des transformations de données personnalisées de bas niveau. 3. Utiliser les DataFrames Spark pour la manipulation de données structurées et l'optimisation intégrée. 4. Interroger de grands ensembles de données à l'aide de Spark SQL pour fusionner des bases de données relationnelles avec des flux de travail de big data. 5. Appliquer des techniques d'optimisation des performances telles que l'exécution adaptative des requêtes et le partitionnement efficace. 6. Lire et écrire des données en utilisant des formats colonnaires modernes comme Parquet. Le cours commence par la terminologie essentielle et l'architecture des systèmes distribués avant de passer à des scénarios pratiques basés sur le code. Vous progresserez du chargement de données de base à l'exécution de transformations complexes et à l'analyse de modèles de données réels. Conçu pour les analystes de données et les développeurs débutants qui souhaitent étendre leurs compétences au big data, ce cours écrit ne nécessite aucune expérience préalable des systèmes distribués. Commencez à lire dès aujourd'hui pour libérer la puissance de l'analyse de données distribuée avec Spark.