Inferens LLM Tempatan dengan ONNX dan C#

Menyediakan model bahasa besar (LLM) secara tempatan tanpa infrastruktur GPU khusus merupakan kemahiran penting untuk pembangun dan jurutera AI moden. Kursus bertulis ini membimbing anda mengkonfigurasi, memuatkan, dan melaksanakan model yang dikuantumkan secara terus pada CPU menggunakan C# dan ONNX Runtime. Anda akan membangunkan pemahaman yang jelas tentang asas LLMOps, teknik kuantisasi model, dan pengurusan token untuk membina aplikasi AI tempatan yang responsif. Apa yang akan anda pelajari: - Memahami konsep teras LLMOps, asas seni bina model, dan perbendaharaan kata - Mengkonfigurasi ONNX Runtime untuk pelaksanaan CPU dalam persekitaran C# - Memuatkan dan melaksanakan model Phi-3 terkuantisasi 4-bit secara tempatan - Mengurus penokenan, templat prompt, dan tetingkap konteks secara berkesan - Mengaplikasikan teknik pengoptimuman inferens untuk prestasi CPU yang boleh dipercayai - Melaksanakan pemprosesan output berstruktur dan corak pengendalian ralat asas Bacaan ini bermula dengan terminologi pembelajaran mesin asas dan prinsip runtime sebelum beralih ke saluran paip inferens berpandukan kod dan strategi pengoptimuman. Kursus ini direka untuk pembangun dan pemula teknikal yang berminat untuk menjalankan model bahasa secara tempatan dengan C#, tanpa memerlukan pengalaman pembelajaran mesin sedia ada. Mula membaca hari ini untuk membawa pelaksanaan model bahasa tempatan ke dalam aplikasi C# anda.