Fondements mathématiques des modèles de langage de grande taille

Vous vous êtes déjà demandé comment les grands modèles de langage traitent réellement le langage et génèrent un texte cohérent sous le capot? Bien que de nombreux outils cachent la complexité, comprendre les mathématiques sous-jacentes des architectures de transformateurs est la clé pour maîtriser vraiment l'IA moderne.\n\nCe cours basé sur le texte vous guide à travers les concepts mathématiques essentiels qui alimentent les LLM modernes. Vous passerez de la simple utilisation d'outils d'IA à une compréhension approfondie des formules, des vecteurs et des mécanismes de réseaux neuronaux qui les font fonctionner.\n \nQue vous apprendrez :\n- Comprendre les conceptes mathématiques fondamentaux, y compris l'algèbre linéaire et la probabilité, qui sous-tendent les réseaux de neurones\n- Tracer les mécanistiques de la tokenisation, des intégrations et des encodages positionnels mathematiquement\n - Calculer l'attention personnelle, l' attention multi-tête et les matrices de requête-clé-valeur étape par étape\n