Pénalités minimales et heuristique de pente

Résumé

Birgé et Massart ont proposé en 2001 l’heuristique de pente, pour déterminer à l’aide des données une
constante multiplicative optimale devant une pénalité en sélection de modèles. Cette heuristique s’appuie sur la notion
de pénalité minimale, et elle a depuis été généralisée en “algorithmes à base de pénalités minimales”. Cet article
passe en revue les résultats théoriques obtenus sur ces algorithmes, avec une preuve complète dans le cadre le plus
simple, des idées de preuves précises pour généraliser ce résultat au-delà des cadres déjà étudiés, et quelques résultats
nouveaux. Des liens sont faits avec les méthodes d’estimation de la variance résiduelle (avec une contribution originale
sur ce thème, qui démontre que l’heuristique de pente produit un estimateur de la variance quasiment aussi bon
qu’un estimateur fondé sur les résidus d’un modèle oracle) ainsi qu’avec plusieurs algorithmes classiques tels que les
heuristiques de coude (ou de courbe en L), C p de Mallows et FPE d’Akaike. Les questions de mise en œuvre pratique
sont également étudiées, avec notamment la proposition de deux nouvelles définitions pratiques pour des algorithmes
à base de pénalités minimales et leur comparaison aux définitions précédentes sur des données simulées. Enfin, des
conjectures et problèmes ouverts sont proposés comme pistes de recherche pour l’avenir.