เชื่อมต่อ Kafka สำหรับการรวมข้อมูลและสตรีม

สถาปัตยกรรมข้อมูลสมัยใหม่ต้องการการเคลื่อนย้ายข้อมูลอย่างราบรื่นระหว่างฐานข้อมูล, เครื่องมือค้นหา, และแพลตฟอร์มการประมวลผลสตรีม Kafka Connect ให้บริการกรอบมาตรฐานเพื่อเชื่อมโยงระบบเหล่านี้โดยไม่ต้องเขียนโค้ดที่ปรับแต่งได้ซับซ้อน, ทำให้การรับและส่งออกข้อมูลที่เชื่อถือได้และปรับขนาดได้ หลักสูตรนี้ให้แนวทางที่ชัดเจนในการเข้าใจวิธีการเคลื่อนย้ายข้อมูลในเวลาจริงผ่านระบบนิเวศของคุณทั้งหมด คุณจะเปลี่ยนแปลงจากความเข้าใจหลักการสถาปัตยกรรมหลักไปสู่การจัดการระบบท่อส่งข้อมูลที่แข็งแกร่งซึ่งจัดการสตรีมที่มีปริมาณมากและสามารถทนต่อความผิดพลาดได้ ด้วยการมุ่งเน้นไปที่การปรับแต่งและการรวมระบบนิเวศ คุณจะได้รับทักษะที่จำเป็นในการทำหน้าที่เป็นสะพานระหว่างซิลูโอสของข้อมูลที่แตกต่างกันและแพลตฟอร์มสตรีมของคุณ คุณจะเรียนรู้อะไร - เข้าใจโครงสร้างของ Kafka Connect รวมถึง Worker, Connector, Task และ Converter - ปรับแต่งส่วนเชื่อมต่อต้นฉบับเพื่อรับข้อมูลจากระบบภายนอกและฐานข้อมูลที่เกี่ยวข้อง - ใช้ซินคอนเนคเตอร์เพื่อส่งออกข้อมูลไปยังจุดหมายปลายทาง เช่น PostgreSQL และ ElasticSearch - จัดการวงจรชีวิตของคอนเนกเตอร์โดยใช้ REST API สำหรับการติดตั้งและติดตามอัตโนมัติ - ความแตกต่างระหว่างโหมด ตัวเดียวและแบบกระจาย เพื่อความมั่นใจในการใช้งานและปรับขนาดได้ - ใช้วิธีการที่ดีที่สุด ใช้การรวมระบบสเคม่า เรจจิรี เพื่อรักษาความสมบูรณ์ของข้อมูล ผ่านระบบท่อของคุณ หลักสูตรนี้จะเริ่มด้วยคำศัพท์พื้นฐานและคำจำกัดความของแนวคิดก่อนที่จะย้ายไปยังตรรกะการปรับแต่งและปรับขนาดตัวเชื่อมต่อที่ใช้ได้จริง คุณจะศึกษาเกี่ยวกับการจัดการคลัสเตอร์ที่กระจายอยู่และแก้ไขปัญหาแบบแผนการรวมเข้าด้วยกันที่ใช้กันทั่วไปผ่านการฝึกเขียน หลักสูตรนี้ถูกออกแบบสำหรับผู้เริ่มต้นที่ต้องการเรียนรู้เกี่ยวกับวิศวกรรมข้อมูลและการรวมระบบเข้าด้วยกัน โดยไม่ต้องมีประสบการณ์กับ Kafka Connect ก่อนหน้านี้ ถึงแม้ว่าการเข้าใจพื้นฐานเกี่ยวกับการส่งข้อความข้อมูลจะช่วยได้มาก เริ่มสร้างระบบข้อมูลที่เชื่อถือได้วันนี้