Geometry-induced regularization and identifiability of deep ReLU networks
Salle WLa première partie de l’exposé présentera, à l’aide d’un exemple simple et didactique, les résultats mathématiques développés dans la seconde partie, de manière à en rendre l’intuition accessible au plus grand nombre. Du fait d’une régularisation implicite qui favorise les « bons » réseaux, les réseaux de neurones avec un grand nombre de paramètres ne surapprennent généralement pas. Parmi les phénomènes connexes et encore mal compris figurent les propriétés des minima plats, les dynamiques de type saddle-to-saddle et l’alignement des neurones. Pour analyser ces phénomènes, nous étudions la géométrie locale […]