Grundlagen des Deep Learning: Aufmerksamkeitsmechanismen und Transformatoren

Moderne künstliche Intelligenz wird von der Transformator-Architektur angetrieben, aber das Verständnis, wie diese Modelle tatsächlich Informationen verarbeiten, kann sich überwältigend anfühlen. Dieser textbasierte Kurs entmystifiziert die inneren Funktionsweisen von Aufmerksamkeitsmechanismen und Transformatoren und zerlegt komplexe mathematische Konzepte in klare, lesbare Erklärungen und strukturierte Code-Implementierungen. Sie werden vom Verständniß grundlegender neuronaler Netze zum selbstbewussten Arbeiten mit modernsten Sequenzmodellen übergehen. Was Sie lernen: Verstehen Sie die grundlegenden Mechanismen der Selbstaufmerksamkeit und der Aufmerksomkeit mit mehreren Köpfen; Implementieren Sie Transformatorsblöcke von Grund auf mit PyTorch und fastai; Wenden Sie moderne Optimierungstechniken und Trainings-Workflows auf Sequenzen-zu-Sequenzen an; Üben Sie Tokenisierungs- und Datenvorbereitungspipelines für die Verarbeitung natürlicher Sprache; Konfigurieren Sie Aufmerksamtmasken und positionale Kodierungen, um sequenzielle Daten zu verarbeiten.