Les Conférences plénières invitées

Apprentissage (profond) et Physique Statistique

Résumé : Le traitement du signal avec des distributions a priori sous forme de réseaux de neurones génératifs est un sujet de recherche actif avec des applications prometteuses. Dans un certain sens, les priors génératifs remplacent la parcimonie dans leur capacité à capturer la structure pertinente dans les données permettant la compression du signal. D’un point de vue théorique, l’analyse des performances avec des priors de réseaux de neurones génératifs est beaucoup plus difficile que pour la parcimonie. Dans cet exposé, je passerai en revue une ligne de travail dérivant des résultats théoriques pour les priors génératifs avec des matrices de poids aléatoires. Dans ce cas, une analyse fine des performances est possible avec le passage de message approximatif multicouche et son évolution d’état. L’analyse se généralise aux matrices convolutionnelles aléatoires. Au passage, je passerai en revue des méthodes issues de la physique statistique telles que les algorithmes de passage de messages approchés et leurs propriétés.

Abstract: Signal processing with prior distributions in the form of generative neural networks is an active research topic with promising applications. In a certain sense generative priors replace sparsity in their capacity to capture relevant structure in the data allowing for compression of the signal. From a theoretical point of view, analysis of performance with generative neural network priors is way more challenging than for sparsity. In this talk, I will review a line of work deriving theoretical results for generative priors with weight matrices being random. In this case, a tight analysis of the performance is possible with multi-layer approximate message passing and its state evolution. The analysis generalizes to random convolutional matrices. On the way, I will review methods stemming from statistical physics such as the approximate message passing algorithms and their properties.

Lenka Zdeborová is a Professor of Physics and of Computer Science in École Polytechnique Fédérale de Lausanne where she leads the Statistical Physics of Computation Laboratory.

She received a PhD in physics from University Paris-Sud and from Charles University in Prague in 2008. She spent two years in the Los Alamos National Laboratory as the Director’s Postdoctoral Fellow. Between 2010 and 2020 she was a researcher at CNRS working in the Institute of Theoretical Physics in CEA Saclay, France. In 2014, she was awarded the CNRS bronze medal, in 2016 Philippe Meyer prize in theoretical physics and an ERC Starting Grant, in 2018 the Irène Joliot-Curie prize, in 2021 the Gibbs lectureship of AMS and the Neuron Fund award. She is an editorial board member for Journal of Physics A, Physical Review E, Physical Review X, SIMODS, Machine Learning: Science and Technology, and Information and Inference.

Lenka’s expertise is in applications of concepts from statistical physics, such as advanced mean field methods, replica method and related message-passing algorithms, to problems in machine learning, signal processing, inference and optimization. She enjoys erasing the boundaries between theoretical physics, mathematics and computer science.