Construcción de Pipelines de Datos con Shell, Airflow y Kafka

En el mundo actual impulsado por los datos, la capacidad de mover y transformar datos de manera eficiente es una habilidad fundamental para cualquier desarrollador o profesional de datos. Este curso basado en texto te guía a través de los conceptos fundamentales de ETL y ELT, mostrándote cómo construir pipelines de datos confiables desde cero. Progresarás desde la comprensión de las teorías básicas de integración de datos hasta la construcción de pipelines funcionales. Aprenderás a automatizar tareas con scripts de Shell, orquestar flujos de trabajo complejos utilizando Airflow (incluidos los patrones modernos de la API TaskFlow) y manejar flujos de datos en tiempo real con Kafka. Lo que aprenderás: - Comprender las diferencias fundamentales entre las arquitecturas ETL y ELT y cuándo aplicar cada una. - Escribir scripts de Shell para automatizar tareas básicas de extracción, transformación y carga de datos. - Orquestar flujos de datos de varios pasos utilizando DAGs de Airflow y convenciones modernas de la API TaskFlow. - Configurar Kafka para ingerir, procesar y transmitir datos de eventos en tiempo real. - Aplicar prácticas modernas de pipeline, incluida la ejecución en contenedores y la validación básica de datos. El curso comienza con terminología esencial y conceptos arquitectónicos antes de pasar a guías escritas paso a paso y ejercicios de configuración. Explorarás escenarios prácticos para el procesamiento por lotes y la transmisión en tiempo real para construir un conjunto de habilidades completo. Este curso está diseñado para principiantes en ingeniería de datos, requiriendo solo familiaridad básica con la programación y sin experiencia previa en pipelines. Comienza a leer hoy mismo para dominar las herramientas que impulsan la infraestructura de datos moderna.