Agrégation d'estimateurs et de classificateurs : théorie et méthodes

Abstract

Cet exposé compile un certain nombre de résultats issus de mes travaux de doctorat, qui ont essentiellement porté sur deux stratégies d'agrégation d'estimateurs, tant d'un point de vue théorique qu'algorithmique. Dans un premier temps, je présenterai une extension des méthodes issues de la théorie PAC-bayésienne, dans un contexte de régression en grande dimension. Nos résultats théoriques consistent en des inégalités oracles démontrant l'optimalité au sens minimax (à un facteur logarithmique près) de notre approche, basée sur l'utilisation de la distribution a posteriori de Gibbs. Les algorithmes de mise en œuvre que nous proposons sont implémentés dans le package R pacbpred, dont les performances sur données synthétiques seront commentées. Dans un second temps, j'exposerai les motivations qui sont à l'origine de l'introduction d'une méthode originale d'agrégation non linéaire d'estimateurs dans un contexte de régression. À la métrique usuelle induite par le design, nous proposons de substituer une métrique particulière, suggérée par des estimateurs préliminaires de la fonction de régression. Nous montrons en particulier que l'estimateur résultant est asymptotiquement aussi efficace que le meilleur des estimateurs initiaux. Nous obtenons également une inégalité oracle exacte en espérance, avec une vitesse de convergence explicite. Notre méthode est disponible sur le CRAN sous la forme du package R COBRA, dont les performances brutes et la vélocité sur données simulées seront commentées.