BEGIN:VCALENDAR
VERSION:2.0
PRODID:-//Département de mathématiques et applications - ECPv6.2.2//NONSGML v1.0//EN
CALSCALE:GREGORIAN
METHOD:PUBLISH
X-ORIGINAL-URL:https://www.math.ens.psl.eu
X-WR-CALDESC:évènements pour Département de mathématiques et applications
REFRESH-INTERVAL;VALUE=DURATION:PT1H
X-Robots-Tag:noindex
X-PUBLISHED-TTL:PT1H
BEGIN:VTIMEZONE
TZID:Europe/Paris
BEGIN:DAYLIGHT
TZOFFSETFROM:+0100
TZOFFSETTO:+0200
TZNAME:CEST
DTSTART:20260329T010000
END:DAYLIGHT
BEGIN:STANDARD
TZOFFSETFROM:+0200
TZOFFSETTO:+0100
TZNAME:CET
DTSTART:20261025T010000
END:STANDARD
END:VTIMEZONE
BEGIN:VEVENT
DTSTART;TZID=Europe/Paris:20260326T110000
DTEND;TZID=Europe/Paris:20260326T120000
DTSTAMP:20260418T012538
CREATED:20260320T134419Z
LAST-MODIFIED:20260320T134419Z
UID:21149-1774522800-1774526400@www.math.ens.psl.eu
SUMMARY:Geometry-induced regularization and identifiability of deep ReLU networks
DESCRIPTION:La première partie de l’exposé présentera\, à l’aide d’un exemple simple et didactique\, les résultats mathématiques développés dans la seconde partie\, de manière à en rendre l’intuition accessible au plus grand nombre.  \n\n\n\nDu fait d’une régularisation implicite qui favorise les « bons » réseaux\, les réseaux de neurones avec un grand nombre de paramètres ne surapprennent généralement pas. Parmi les phénomènes connexes et encore mal compris figurent les propriétés des minima plats\, les dynamiques de type saddle-to-saddle et l’alignement des neurones. Pour analyser ces phénomènes\, nous étudions la géométrie locale des réseaux de neurones ReLU profonds. Nous montrons que\, pour une architecture fixée\, lorsque les poids varient\, l’image d’un échantillon X forme un ensemble dont la dimension locale change. L’espace des paramètres est ainsi partitionné en régions où cette dimension locale demeure constante. La dimension locale est invariante par rapport aux symétries naturelles des réseaux ReLU (c’est-à-dire les changements d’échelle positifs et les permutations de neurones).  \n\n\n\nNous établissons ensuite que la géométrie du réseau induit une régularisation\, la dimension locale constituant une mesure clé de régularité. De plus\, nous relions la dimension locale à une nouvelle notion de platitude des minima ainsi qu’aux dynamiques saddle-to-saddle. Pour les réseaux à une couche cachée\, nous montrons également que la dimension locale est liée au nombre de régions linéaires perçues par $X$\, ce qui éclaire sur l’effet de la régularisation. Ce résultat est étayé par des expériences et mis en relation avec l’alignement des neurones. Enfin\, je présenterai des expériences sur la base MNIST\, qui mettent en évidence la régularisation induite par la géométrie dans ce contexte. Finalement\, je ferai le lien entre des propriétés sur la dimension locale et l’identifiabilité locale des paramètres du réseau.
URL:https://www.math.ens.psl.eu/evenement/geometry-induced-regularization-and-identifiability-of-deep-relu-networks/
LOCATION:Salle W
CATEGORIES:CSD seminar
END:VEVENT
END:VCALENDAR