أتمتة تدفق البيانات باستخدام برنامجي Apache Airflow و Python

إدارة تسليم البيانات يدويا من خلال النصوص وأعمال Cron غالبا ما تؤدي إلى أخطاء وصعوبات الصيانة مع توسع المشاريع. هذه الدورة تعلمك كيفية استخدام Apache Airflow لتحقيق البنية والموثوقية والتشغيل الآلي لمهام هندسة البيانات. ستتحول من كتابة نصوص معزولة إلى تطوير تدفقات عمل قوية وقابلة للتكرار تتعامل مع الجدولة والإبلاغ عن الأخطاء تلقائيا. ماذا ستتعلم: - فهم البنية الأساسية لنظام Airflow بما في ذلك المخططون والعمال والمنفذون. - إنشاء رسوم بيانية غير دورية موجهة لتحديد تبعية المهام ومنطق التنفيذ بوضوح. - تطبيق برامج بايثون وواجهة برمجة التطبيقات TaskFlow لبناء قنوات حديثة للبيانات القابلة للقراءة. - تنفيذ معالجة قوية للأخطاء، وإعادة المحاولات، والإنذار للحفاظ على سلامة خط الأنابيب. - ممارسة جدولة تدفقات العمل المعقدة لتنفيذها على فترات محددة أو استنادا إلى عوامل خارجية. - إدارة ورصد المهام الجاهزة للإنتاج باستخدام أدوات إدارة تدفق الهواء القياسية. تبدأ الدورة بتعريفات أساسية ومفاهيم التثبيت، وتتقدم من خلال إنشاء أول DAG الخاص بك وتقنيات إدارة خط الأنابيب المتقدمة. وهي مصممة للمبتدئين ومحبي بايثون الذين يرغبون في دخول عالم هندسة البيانات دون خبرة سابقة في تنسيق تدفق العمل. ابدأ رحلتك في هندسة البيانات الآلية وتبسيط عملية التطوير الخاصة بك.