Práctica de Cuantización de Modelos GenAI con Python

Ejecutar modelos de IA generativa de última generación requiere enormes recursos computacionales, lo que hace que la implementación sea costosa y lenta. La cuantización resuelve esto comprimiendo modelos con una pérdida mínima de precisión, lo que les permite ejecutarse de manera eficiente en hardware estándar. En este curso, pasarás de comprender las estructuras básicas de los modelos a comprimir activamente modelos de IA generativa utilizando Python. Aprenderás a reducir las huellas de memoria y acelerar las velocidades de inferencia, haciendo que tus aplicaciones de IA sean más prácticas, rentables y listas para la implementación en producción. Lo que aprenderás: - Comprender las matemáticas y los conceptos fundamentales detrás de la cuantización de modelos, incluidos los formatos de precisión como FP16, INT8 e INT4. - Aplicar la Cuantización Post-Entrenamiento (PTQ) para comprimir modelos de lenguaje grandes utilizando bibliotecas de Python de código abierto. - Configurar técnicas modernas de cuantización como GPTQ, AWQ y GGUF para una implementación local y en la nube eficiente. - Implementar la carga de precisión de 8 bits y 4 bits para ejecutar modelos grandes en hardware limitado. - Evaluar el rendimiento, el uso de memoria y la perplejidad de los modelos comprimidos para garantizar que la calidad de la generación siga siendo alta. Tu viaje de aprendizaje comienza con los conceptos fundamentales de los pesos de las redes neuronales y la precisión antes de pasar a flujos de trabajo prácticos de compresión con Python. Leerás explicaciones paso a paso, analizarás bloques de código optimizados y practicarás la aplicación de estrategias de cuantización a modelos del mundo real. Este curso está diseñado para desarrolladores de Python, aspirantes a ingenieros de IA y científicos de datos que desean optimizar modelos de IA. Se recomienda una comprensión básica de Python y los conceptos de aprendizaje automático, pero no se requiere experiencia previa en optimización de modelos o cuantización. Comienza a optimizar tus modelos de IA generativa hoy y crea aplicaciones más rápidas y ligeras.