Quantização Prática de Modelos GenAI com Python

A quantização resolve isso ao comprimir modelos com perda mínima de precisão, permitindo que eles sejam executados de forma eficiente em hardware padrão. Neste curso, você fará a transição de entender estruturas básicas de modelos para compactar ativamente modelos de IA generativos usando Python.Você aprenderá a reduzir as pegadas de memória e acelerar as velocidades de inferência, tornando seus aplicativos de IA mais práticos, econômicos e prontos para a implantação em produção. O que você vai aprender: - Entenda a matemática fundamental e os conceitos por trás da quantização de modelos, incluindo formatos de precisão como FP16, INT8 e INT4. - Aplique a Quantização Pós-Treinamento (PTQ) para comprimir modelos de linguagem grandes usando bibliotecas Python de código aberto. - Configure técnicas modernas de quantização, como GPTQ, AWQ e GGUF para uma implantação local e em nuvem eficiente. - Implemente o carregamento de precisão de 8 bits e 4 bits para executar modelos grandes em hardware limitado. - Avalie o desempenho, o uso da memória e a perplexidade dos modelos compactados para garantir que a qualidade da geração permaneça alta. Sua jornada de aprendizado começa com conceitos fundamentais de pesos e precisão de redes neurais antes de passar para fluxos de trabalho práticos de compressão em Python.Você lerá explicações passo a passo, analisará blocos de código otimizados e praticará a aplicação de estratégias de quantização a modelos do mundo real. Este curso é projetado para desenvolvedores de Python, aspirantes a engenheiros de IA e cientistas de dados que desejam otimizar modelos de IA.É recomendado um entendimento básico de Python e conceitos de aprendizado de máquina, mas não é necessária experiência prévia com otimização ou quantização de modelos. Comece a otimizar seus modelos de IA generativa hoje mesmo e crie aplicativos mais rápidos e leves.