แนะนำให้รู้จักกับ Vision Transformers: การจำแนกประเภทภาพด้วย ViT และ DeiT

เครือข่ายประสาทเทียมแบบคอนโวลูชัน (convolutional neural networks) แบบเดิมไม่ได้เป็นเพียงตัวเลือกเดียวสำหรับ computer vision อีกต่อไป เพราะ Transformers ซึ่งเดิมทีถูกออกแบบมาสำหรับงานประมวลผลภาษาธรรมชาติ (natural language processing) ได้ปฏิวัติวิธีที่เราใช้วิเคราะห์และจำแนกประเภทรูปภาพ หลักสูตรรูปแบบการอ่านนี้จะนำคุณไปทำความเข้าใจแนวคิดหลักของ Vision Transformers (ViT) และ Data-efficient Image Transformers (DeiT) โดยคุณจะได้เปลี่ยนผ่านจากการทำความเข้าใจกลไก self-attention พื้นฐาน ไปสู่การปรับใช้และปรับแต่ง (fine-tuning) สถาปัตยกรรมอันทรงพลังเหล่านี้สำหรับงานจำแนกประเภทภาพที่ใช้งานได้จริง สิ่งที่คุณจะได้เรียนรู้: - ทำความเข้าใจกลไกพื้นฐานของ self-attention และการประยุกต์ใช้กับข้อมูลภาพแทนที่จะเป็นข้อความ - วิเคราะห์สถาปัตยกรรมหลักของ Vision Transformers (ViT) รวมถึง patch projection และ position embeddings - สำรวจ Data-efficient Image Transformers (DeiT) และบทบาทของ knowledge distillation ในการฝึกอบรมโมเดลขนาดเล็ก - ปรับใช้เวิร์กโฟลว์การจำแนกประเภทภาพโดยใช้ไลบรารี deep learning สมัยใหม่และโมเดล transformer ที่ผ่านการฝึกอบรมมาแล้ว (pre-trained) - ประเมินประสิทธิภาพของโมเดลโดยใช้เมตริกการจำแนกประเภทมาตรฐาน และเข้าใจข้อดีข้อเสียระหว่าง CNNs และ Transformers คุณจะได้เริ่มต้นจากคำศัพท์ที่จำเป็นและการเปลี่ยนแปลงแนวคิดจาก convolutional layers ไปสู่ self-attention จากนั้นคุณจะได้อ่านคำอธิบายโค้ดแบบทีละขั้นตอน ซึ่งจะแสดงวิธีเตรียม image patches, กำหนดค่าสถาปัตยกรรม ViT และ DeiT รวมถึงการ fine-tuning โมเดลบนชุดข้อมูลของคุณเอง หลักสูตรนี้ออกแบบมาสำหรับผู้ที่ต้องการเป็นนักวิทยาศาสตร์ข้อมูล (data scientists), ผู้เริ่มต้นเรียนรู้ machine learning และผู้ที่สนใจด้าน computer vision การมีความรู้พื้นฐานเกี่ยวกับ Python และแนวคิดเรื่องเครือข่ายประสาทเทียม (neural network) จะช่วยให้เข้าใจได้ง่ายขึ้น แต่ไม่จำเป็นต้องมีประสบการณ์เกี่ยวกับ transformersมาก่อน เริ่มอ่านได้แล้ววันนี้เพื่อปลดล็อกพลังของ computer vision ที่ใช้เทคโนโลยี attention