Основы dbt для аналитической инженерии

Современные команды по обработке данных сталкиваются с проблемой управления сложной логикой преобразования, которую часто трудно протестировать и задокументировать. Применяя основанный на коде подход к моделированию данных, вы можете принести строгость программной инженерии в свой аналитический рабочий процесс. Этот курс предоставляет четкий путь к пониманию того, как структурировать, создавать и поддерживать надежный слой преобразований в вашем хранилище данных. Вы перейдете от написания фрагментированных сценариев к созданию модульного проекта данных с контролем версий. С помощью письменных объяснений и примеров кода вы узнаете, как организовать логику, обеспечить качество данных и эффективно сотрудничать с другими специалистами по данным. Что вы узнаете: - Понять основные концепции рабочего процесса dbt и его роль в современном стеке данных - Создание модульных моделей данных с использованием SQL для преобразования необработанной информации в готовые к анализу таблицы - Внедрение автоматизированных тестов для проверки целостности данных и выявления проблем до того, как они достигнут заинтересованных сторон - Применять принципы управления версиями и основные модели CI/CD для преобразования данных - Создание и ведение проектной документации для повышения прозрачности и улучшения сотрудничества в команде - Практика оптимизации производительности с помощью стратегий материализации и эффективных шаблонов кодирования Курс начинается с основных терминов и структурных определений, а затем переходит к практическому применению методов моделирования, тестирования и документирования. Эти фундаментальные знания позволят вам уверенно участвовать в проектах по обработке данных. Этот курс предназначен для начинающих в области инженерии данных, анализа или науки данных с базовыми знаниями SQL, которые хотят модернизировать свои навыки преобразования данных. Не требуется предыдущий опыт работы с инструментами командной строки. Начните создавать более надежные потоки данных, освоив основы dbt уже сегодня.