Monte Carlo Reinforcement Learning: รากฐานและอัลกอริทึม

เอเจนต์อัจฉริยะเรียนรู้ที่จะตัดสินใจอย่างเหมาะสมในสภาพแวดล้อมที่พลวัตของการเปลี่ยนแปลงไม่เป็นที่รู้จักได้อย่างไร? Monte Carlo reinforcement learning นำเสนอแนวทางที่ขับเคลื่อนด้วยข้อมูลอันทรงพลังโดยการเรียนรู้โดยตรงจากตอนของประสบการณ์ หลักสูตรในรูปแบบข้อความนี้นำทางคุณตั้งแต่แนวคิดพื้นฐานของความน่าจะเป็นและกระบวนการตัดสินใจของมาร์คอฟ (Markov Decision Processes) ไปจนถึงการทำความเข้าใจอัลกอริทึมหลักของ Monte Carlo คุณจะได้รับความเข้าใจเชิงแนวคิดที่ชัดเจนเกี่ยวกับวิธีประมาณค่าฟังก์ชันมูลค่า, เพิ่มประสิทธิภาพนโยบาย, และนำแนวคิดเหล่านี้ไปใช้กับปัญหาการควบคุมแบบไร้แบบจำลอง (model-free control) สิ่งที่คุณจะได้เรียนรู้: ทำความเข้าใจแนวคิดพื้นฐานของ model-free reinforcement learning และวิธีที่วิธีของ Monte Carlo แตกต่างจากการเขียนโปรแกรมแบบไดนามิกและการเรียนรู้แบบเทมพอร์ทัลดิฟเฟอเรนซ์ (temporal difference learning); เปรียบเทียบเทคนิคการประเมินนโยบาย Monte Carlo แบบเยี่ยมชมครั้งแรก (first-visit) และเยี่ยมชมทุกครั้ง (every-visit); ใช้กลยุทธ์การสำรวจแบบ epsilon-greedy เพื่อแก้ปัญหาความขัดแย้งระหว่างการสำรวจและการใช้ประโยชน์ในการควบคุม; ใช้อัลกอริทึมควบคุม Monte Carlo เพื่อค้นหานโยบายที่เหมาะสมที่สุดโดยไม่ต้องใช้แบบจำลองสภาพแวดล้อม; วิเคราะห์ว่าตัวประมาณค่า Monte Carlo ทำหน้าที่เป็นรากฐานสำหรับวิธี policy gradient สมัยใหม่และ Monte Carlo Tree Search อย่างไร หลักสูตรเริ่มต้นด้วยคำศัพท์ที่จำเป็นและการกำหนดสูตรทางคณิตศาสตร์ของงาน reinforcement learning จากนั้นคุณจะได้ก้าวหน้าผ่านคำอธิบายที่เป็นลายลักษณ์อักษรทีละขั้นตอนของการประเมินนโยบาย, อัลกอริทึมการควบคุม, และแอปพลิเคชันสมัยใหม่ของการประมาณค่า Monte Carlo หลักสูตรนี้ออกแบบมาสำหรับผู้เริ่มต้นในด้าน machine learning และ reinforcement learning โดยมีความคุ้นเคยพื้นฐานกับ Python และความน่าจะเป็นเบื้องต้นจะเป็นประโยชน์ แต่ไม่ต้องมีประสบการณ์ RL มาก่อน เริ่มอ่านวันนี้เพื่อสร้างรากฐานที่แข็งแกร่งใน model-free reinforcement learning