Cet exposé est destiné à expliquer comment la régularisation L1 peut être vue comme procédure de sélection de modèles parmi des boules L1.
Dans un premier temps, j’analyserai la performance du Lasso en tant qu’algorithme de régularisation L1 en proposant une inégalité oracle L1 satisfaite par cet estimateur dans le cadre de la régression linéaire pour un dictionnaire fini.
Dans un second temps, je présenterai un estimateur particulièrement adapté à l’utilisation de dictionnaires infinis, construit par pénalisation L0 d’une suite d’estimateurs Lasso associés à une suite dyadique croissante de dictionnaires tronqués. Le niveau de troncature du dictionnaire est choisi automatiquement de façon à garantir le meilleur compromis entre approximation, régularisation L1 et parcimonie. Dans le cas d’un dictionnaire orthonormal, cet estimateur correspond à un estimateur par seuillage doux dont le seuil est choisi de manière adaptative et optimale. De plus, cet estimateur a l’avantage d’avoir des vitesses de convergence optimales sur des boules de Besov et d’être adaptatif aux paramètres de régularité de la fonction de régression inconnue, contrairement aux estimateurs classiques par seuillage doux avec seuil fixe.
Dans un troisième temps, j’expliquerai comment les inégalités oracles présentées sont déduites d’un théorème de sélection de modèles établi par Pascal Massart (Saint Flour, 2003).
Article de référence : An L1-Oracle Inequality for the Lasso par Caroline Meynet et Pascal Massart