Fondations de l'ingénierie des données avec Spark, Databricks et Delta Lake

Les entreprises modernes s'appuient sur des pipelines de données robustes pour transformer les données brutes en informations exploitables, faisant de l'ingénierie des données l'une des compétences les plus critiques aujourd'hui. Ce cours vous initie aux concepts fondamentaux de l'architecture lakehouse, vous donnant une base solide dans le traitement moderne des données. Vous passerez de la compréhension des concepts de base des données à la lecture, l'écriture et l'exécution de pipelines de données. Grâce à des explications écrites claires et à des exemples de code structurés en Python et Scala, vous apprendrez à traiter des ensembles de données à grande échelle, à gérer des tables de données fiables et à implémenter des flux de travail de données standard de l'industrie. Ce que vous apprendrez : - Comprendre les principes fondamentaux de l'architecture Databricks Lakehouse et du calcul distribué avec Apache Spark. - Construire des pipelines de données fiables en utilisant Spark SQL, DataFrames et les API en Python et Scala. - Gérer les Delta Tables en utilisant des fonctionnalités avancées comme le voyage dans le temps, l'historique des versions et l'évolution du schéma. - Optimiser les performances des requêtes en utilisant le caching Delta, la gestion des fichiers et les dispositions de stockage modernes. - Configurer la gouvernance des données et les bases du stockage de fichiers en utilisant les volumes Unity Catalog. - Appliquer des pratiques de test et de surveillance des pipelines de données pour garantir la qualité des données et la fiabilité des pipelines. Le voyage commence par la terminologie essentielle de l'ingénierie des données et la configuration de Spark avant de passer systématiquement par les transformations de DataFrame, le chargement des données, les opérations Delta Lake et l'optimisation des performances. Vous lirez des descriptions de code complètes et pratiquerez avec des exercices conceptuels conçus pour renforcer votre apprentissage. Ce cours est conçu pour les futurs ingénieurs de données, administrateurs de bases de données et développeurs de logiciels qui débutent dans les technologies big data. Aucune expérience préalable avec Spark ou Databricks n'est requise, bien qu'une familiarité de base avec SQL et les concepts généraux de programmation soit utile. Commencez à construire votre base en ingénierie des données dès aujourd'hui.