Pretraining di Modelli Linguistici di Grandi Dimensioni da Zero

I modelli linguistici di grandi dimensioni stanno trasformando la tecnologia, ma capire come vengono costruiti dalle fondamenta rimane un'abilità rara e preziosa. Questo corso basato su testo ti guida attraverso i concetti fondamentali e i passaggi pratici per preaddestrare il tuo modello linguistico. Passerai dall'essere un consumatore di modelli di IA a qualcuno che comprende l'intero ciclo di vita della creazione del modello, dalla preparazione del testo grezzo alle esecuzioni di addestramento iniziali. Cosa imparerai: 1. Impara i concetti matematici e architetturali fondamentali alla base dei moderni modelli Transformer. 2. Padroneggia le strategie di curatela dei dati, inclusi filtraggio, deduplicazione e controllo qualità. 3. Configura tokenizer personalizzati per convertire il testo grezzo in input numerici pronti per il modello. 4. Comprendi i fondamenti dell'addestramento distribuito e le tecniche di precisione mista per ottimizzare le prestazioni. 5. Esercitati a scrivere cicli di addestramento e a impostare il monitoraggio della perdita utilizzando esempi di codice chiari e passo dopo passo. 6. Esplora le ottimizzazioni moderne del preaddestramento come gli embedding di posizione rotanti (rotary position embeddings) e RMSNorm. Partendo dalla terminologia essenziale e dalle definizioni fondamentali, questo corso ti guida attraverso la pipeline di preparazione dei dati, configurazione architetturale ed esecuzione computazionale. Leggerai spiegazioni dettagliate e analizzerai implementazioni di codice progettate per demistificare il processo di preaddestramento. Questo corso è pensato per principianti e appassionati di tecnologia che desiderano comprendere le meccaniche interne degli LLM da zero, senza richiedere alcuna precedente esperienza di machine learning. Inizia oggi il tuo viaggio nel cuore dell'intelligenza artificiale moderna.