Descente de gradient à mémoire

Résumé

Ce travail étudie un algorithme de descente du type "Heavy Ball" introduit par Polyak, qui se réinterprète comme une descente de gradient à mémoire. Cette méthode de descente possède l’aptitude particulière d’éviter certains pièges locaux, et opère une descente de gradient non pas dans la direction du point courant mais via une direction moyennant tout le passé de la trajectoire. Physiquement, ceci peut se modéliser par l’algorithme dit boule pesante avec frottement (HBF) et peut être relié à la célèbre méthode de descente de Nesterov. Ces multiples connexions sont possibles en changeant le coefficient de mémoire et la forme qu’il peut prendre. Nous proposerons l’étude de ces descentes discrétisées pour deux types de mémoire dans un contexte stochastique, pour lesquelles on n’accède qu’à des évaluations bruitées du gradient à chaque itération de l’algorithme. Les vitesses de convergences seront données et comparées avec les bornes théoriques connues. Une étude de la convergence en loi de tels algorithmes sera aussi proposée avec à la clé un théorème central limite surprenant.