การประเมิน Generative AI: เมตริกและเฟรมเวิร์กสำหรับแอปพลิเคชัน LLM

การปรับใช้ Generative AI เป็นเพียงก้าวแรกเท่านั้น การรับรองว่าผลลัพธ์มีความน่าเชื่อถือ ปลอดภัย และแม่นยำคือความท้าทายที่แท้จริง หากไม่มีการประเมินอย่างเป็นระบบ แอปพลิเคชัน large language model อาจเสี่ยงต่อการให้ข้อมูลที่ผิดเพี้ยน (hallucinate) การรั่วไหลของข้อมูล หรือส่งมอบประสบการณ์การใช้งานที่ไม่ดี คอร์สนี้จะช่วยให้คุณมีความรู้พื้นฐานในการออกแบบและใช้กลยุทธ์การประเมินที่แข็งแกร่งสำหรับ Generative AI ช่วยให้คุณเปลี่ยนจากการทดสอบด้วยตนเองไปสู่เฟรมเวิร์กอัตโนมัติที่ขับเคลื่อนด้วยเมตริก สิ่งที่คุณจะได้เรียนรู้: - ทำความเข้าใจคำศัพท์พื้นฐานเกี่ยวกับการประเมินและความท้าทายเฉพาะตัวในการทดสอบโมเดล AI แบบ non-deterministic - ใช้วิธีวัดผลแบบเชิงปริมาณและเชิงคุณภาพเพื่อประเมินคุณภาพการสร้างข้อความ การสรุปความ และการแปลภาษา - ใช้รูปแบบการประเมิน Retrieval-Augmented Generation (RAG) โดยใช้ความเกี่ยวข้องของบริบทและความซื่อตรงต่อข้อมูล - สำรวจกระบวนทัศน์ LLM-as-a-judge สำหรับความคิดเห็นเชิงคุณภาพแบบอัตโนมัติที่ปรับขนาดได้ - ระบุและบรรเทาความเสี่ยงด้านความปลอดภัย ความลำเอียง และความปลอดภัยผ่านวิธีการประเมินที่มีเป้าหมาย - กำหนดค่าเวิร์กโฟลว์การตรวจสอบและสังเกตการณ์อย่างต่อเนื่องเพื่อติดตามประสิทธิภาพในระบบจริง คอร์สนี้เริ่มต้นด้วยคำจำกัดความหลักและอุปสรรคเฉพาะตัวของการประเมิน AI ก่อนที่จะแนะนำเมตริกการเปรียบเทียบเฉพาะ จากนั้นคุณจะได้ก้าวไปสู่รูปแบบขั้นสูง เช่น การประเมินอัตโนมัติและการตรวจสอบในระบบจริงผ่านคำอธิบายที่เป็นลายลักษณ์อักษรที่ชัดเจนและตัวอย่างที่ใช้งานได้จริง ออกแบบมาสำหรับผู้เริ่มต้น นักพัฒนา และผู้จัดการผลิตภัณฑ์ที่เข้าสู่โลกของ AI คอร์สนี้ไม่ต้องมีพื้นฐานทางคณิตศาสตร์ขั้นสูงหรือประสบการณ์การเรียนรู้ของเครื่อง (machine learning) มาก่อน เริ่มอ่านวันนี้เพื่อสร้างความไว้วางใจและความน่าเชื่อถือให้กับแอปพลิเคชัน Generative AI ของคุณ