Regressione Lasso e Discesa del Subgradiente nell'Ottimizzazione Convessa

Quando si costruiscono modelli predittivi, selezionare le caratteristiche più influenti prevenendo al contempo l'overfitting è una sfida costante. La discesa del gradiente standard fallisce quando si ha a che fare con gli angoli acuti della regolarizzazione L1, rendendo essenziale comprendere come funziona l'ottimizzazione quando le derivate non esistono. Questo corso basato su testo ti guida attraverso le basi matematiche e l'implementazione pratica della discesa del subgradiente per risolvere la regressione Lasso. Imparerai come gestire funzioni obiettivo non differenziabili, comprendere la meccanica dell'ottimizzazione convessa e implementare modelli sparsi partendo dalle basi. Cosa imparerai: * Comprendere i principi fondamentali dell'ottimizzazione convessa e l'intuizione geometrica alla base della regolarizzazione L1; * Calcolare subgradienti e subdifferenziali per funzioni non differenziabili; * Implementare l'algoritmo di discesa del subgradiente per la regressione Lasso utilizzando codice Python pulito; * Analizzare come Lasso esegue la selezione automatica delle caratteristiche spingendo i coefficienti allo zero assoluto; * Valutare le prestazioni del modello e mettere a punto gli iperparametri di regolarizzazione utilizzando flussi di lavoro di validazione moderni; * Esercitarsi nel debug dei problemi di convergenza comuni nell'ottimizzazione non liscia. Inizierai con le definizioni matematiche fondamentali e la terminologia chiave prima di passare passo dopo passo alla progettazione dell'algoritmo e all'implementazione del codice. Questo corso è progettato per principianti nell'ottimizzazione matematica e nel machine learning che hanno una familiarità di base con Python e l'algebra lineare. Inizia a leggere oggi per padroneggiare le tecniche di ottimizzazione fondamentali che alimentano i moderni modelli di machine learning sparsi.