Aspects avancés de la descente de gradient
Optimisation pour l'apprentissage automatique
M2 IASD/MASH, Université Paris Dauphine-PSL, 2021-2022
Programme
Le but de ces deux cours (dispensés en anglais) est de présenter des résultats modernes sur les méthodes de gradient, qui sont à la base des algorithmes utilisés en apprentissage et de sciences des données. On s'intéressera notamment au concept de momentum ainsi qu'à son utilisation en optimisation convexe. Il sera aussi question des défis posés par l'optimisation non convexe, pour lesquels nous présenterons des avancées récentes.
Emploi du temps
Cours 1/2 (12 octobre) Descente de gradient et accélération.
Cours 2/2 (14 octobre) Descente de gradient et optimisation non convexe.
Supports de cours
Notes de cours (en anglais)
PDF
Notes manuscrites du premier cours
PDF
Notes manuscrites du second cours
PDF
Notebook Python pour le premier cours
[Sources]
Notebook Python pour le second cours
[Sources]
Les documents présents sur cette page sont accessibles sous licence Creative Commons
CC BY-NC 4.0
The English version of this page can be found
here.