La première partie de l’exposé présentera, à l’aide d’un exemple simple et didactique, les résultats mathématiques développés dans la seconde partie, de manière à en rendre l’intuition accessible au plus grand nombre. 

Du fait d’une régularisation implicite qui favorise les « bons » réseaux, les réseaux de neurones avec un grand nombre de paramètres ne surapprennent généralement pas. Parmi les phénomènes connexes et encore mal compris figurent les propriétés des minima plats, les dynamiques de type saddle-to-saddle et l’alignement des neurones. Pour analyser ces phénomènes, nous étudions la géométrie locale des réseaux de neurones ReLU profonds. Nous montrons que, pour une architecture fixée, lorsque les poids varient, l’image d’un échantillon X forme un ensemble dont la dimension locale change. L’espace des paramètres est ainsi partitionné en régions où cette dimension locale demeure constante. La dimension locale est invariante par rapport aux symétries naturelles des réseaux ReLU (c’est-à-dire les changements d’échelle positifs et les permutations de neurones). 

Nous établissons ensuite que la géométrie du réseau induit une régularisation, la dimension locale constituant une mesure clé de régularité. De plus, nous relions la dimension locale à une nouvelle notion de platitude des minima ainsi qu’aux dynamiques saddle-to-saddle. Pour les réseaux à une couche cachée, nous montrons également que la dimension locale est liée au nombre de régions linéaires perçues par $X$, ce qui éclaire sur l’effet de la régularisation. Ce résultat est étayé par des expériences et mis en relation avec l’alignement des neurones. Enfin, je présenterai des expériences sur la base MNIST, qui mettent en évidence la régularisation induite par la géométrie dans ce contexte. Finalement, je ferai le lien entre des propriétés sur la dimension locale et l’identifiabilité locale des paramètres du réseau.