Mécanismes d'attention et transformateurs

Ce cours basé sur le texte démystifie le fonctionnement interne des mécanismes d'attention et des transformateurs, décomposant les concepts mathématiques complexes en explications claires et lisibles et en implémentations de code structuré. Vous passerez de la compréhension des réseaux neuronaux de base à un travail en toute confiance avec des modèles de séquence de pointe. Ce que vous apprendrez: Comprendre les mécaniciens fondamentaux de l'attenzione et de l’attention multi-tête; Implémenter des blocs de transformateurs à partir de zéro en utilisant PyTorch et fastai; Appliquer des techniques d'optimisation modernes et des flux de travail de formation aux tâches de séquence à séquences; Pratiquer la tokenisation et les pipelines de préparation de données pour le traitement du langage naturel; Configurer les masques d'intérêt et les encodages positionnels pour gérer les données séquentielles.