Régularisation, optimisation en grande dimension et distribuée
Optimisation pour l'apprentissage automatique
M2 IASD/MASH, Université Paris Dauphine-PSL, 2023-2024
Programme
Dans cette partie (dispensée en anglais), on présente plusieurs techniques qui peuvent être combinées avec les méthodes vues dans d'autres parties du cours. Les deux premières séances portent sur la régularisation, et notamment son utilisation en optimisation parcimonieuse. Les deux séances suivantes présentent des algorithmes d'optimisation pertinents pour des problèmes en très grande dimension, notamment dans un contexte de données distribuées.
Emploi du temps
Cours 1/4 (9 novembre) Méthodes proximales.
Cours 2/4 (16 novembre) Optimisation parcimonieuse et LASSO.
Cours 3/4 (20 novembre) Descente par coordonnées.
Cours 4/4 (4 décembre) Optimisation distribuée.
Supports de cours
Tableau numérique du cours 1 (méthodes proximales)
PDF
Tableau numérique du cours 2 (parcimonie)
PDF
Notebook 1 sur la régularisation
[Sources]
Tableau numérique du cours 3 (descente par coordonnées)
PDF
Tableau numérique du cours 4 (optimisation distribuée)
PDF
Notebook 1 sur la descente par coordonées et ADMM
[Sources]
Notes de cours (en anglais)
PDF
Les documents présents sur cette page sont accessibles sous licence Creative Commons
CC BY-NC 4.0
The English version of this page can be found
here.