Inferencia local de LLM con ONNX y C#

Desplegar modelos de lenguaje grandes de forma local sin una infraestructura de GPU dedicada es una habilidad esencial para los desarrolladores y de ingenieros de IA modernos. Este curso escrito lo guiará a través de la configuración, carga y ejecución de modelos cuantizados directamente en la CPU utilizando C# y ONNX Runtime. Desarrollará una comprensión clara de los fundamentos de LLMOps, técnicas de cuantización de modelos y gestión de tokens para construir aplicaciones de IA locales e interactivas. Lo que aprenderá: - Comprender los conceptos clave de LLMOps, fundamentos de arquitectura de modelos y vocabulario - Configurar ONNX Runtime para ejecución en CPU en entornos C# - Cargar y ejecutar modelos Phi-3 cuantizados en 4-bit de forma local - Gestionar la tokenización, plantillas de prompts y ventanas de contexto de manera efectiva - Aplicar técnicas de optimización de inferencia para un rendimiento confiable en CPU - Implementar procesamiento de salidas estructuradas y patrones básicos de manejo de errores La lectura comienza con terminología fundamental de machine learning y principios del entorno de ejecución antes de avanzar hacia pipelines de inferencia basados en código y estrategias de optimización. Este curso está diseñado para desarrolladores y principiantes técnicos interesados en ejecutar modelos de lenguaje localmente con C#, sin requerir experiencia previa en machine learning. Comience a leer hoy para llevar la ejecución de modelos de lenguaje locales a sus aplicaciones de C#.