Podstawy głębokiego uczenia się: mechanizmy i transformatory uwagi

Nowoczesna sztuczna inteligencja jest napędzana architekturą transformatora, ale zrozumienie, w jaki sposób te modele faktycznie przetwarzają informacje, może wydawać się przytłaczające. Ten kurs tekstowy demystyfikuje wewnętrzne działanie mechanizmów uwagi i transformatorów, rozkładając złożone pojęcia matematyczne na jasne, czytelne wyjaśnienia i uporządkowane implementacje kodu. Przejdziesz od zrozumienia podstawowych sieci neuronowych do pewnej pracy z najnowocześniejszymi modelami sekwencji. Czego się nauczysz: Zrozum podstawową mechanikę uwagi własnej i uwagi wielu głów; Wdrażaj bloki transformatrów od podstaw za pomocą PyTorch i fastai; Zastosuj nowoczesne techniki optymalizacji i przepływy pracy szkoleniowej do zadań sekwencyjnych; Ćwicz potoki tokenizacji i przygotowania danych do przetwarzania języka naturalnego; Skonfiguruj maski uwagi oraz kodowania pozycjonalne do obsługi danych sekwencyjnego.