Azure Databricks pour l’ingénierie des données : Lakehouse Foundations

Azure Databricks est devenu une solution de premier plan pour la création d’architectures Lakehouse fiables qui combinent le meilleur des entrepôts de données et des lacs de données. Ce cours basé sur du texte vous guide des concepts fondamentaux de l'ingénierie des données dans le cloud à la conception de pipelines de données de bout en bout.Vous acquerrez une compréhension claire de la façon de stocker, de traiter et de gouverner les données à l'aide de modèles standard du secteur et d'outils de gouvernance modernes. Ce que vous apprendrez: - Comprendre l'architecture de base des principes Databricks, DBFS et Lakehouse. - Traiter des données structurées et semi-structurées à l'aide de PySpark et Spark SQL. - Implémentez des couches de stockage fiables avec Delta Lake, Delta Tables et l'évolution du schéma. - Automatisez l'ingestion continue de données à l'aide de Databricks Autoloader et de Delta Live Tables. - Configurez la gouvernance des données, les contrôles d'accès et la sécurité à l'aide de Unity Catalog. - Déployer et orchestrer des flux de travail et des pipelines de données prêts à la production. Vous commencerez par explorer les concepts essentiels des données cloud et les environnements Spark de base avant de passer au développement pratique de pipelines.Les leçons écrites vous guideront à travers des scénarios réels, notamment la transformation des données, l'automatisation de l'ingestion et l'administration de l'espace de travail. Ce cours est conçu pour les ingénieurs de données, les administrateurs de bases de données et les analystes de données en herbe qui souhaitent passer à des rôles de données dans le cloud. Commencez à lire dès aujourd'hui pour construire vos bases dans l'ingénierie de données cloud moderne.