Cours
L'École comportera à la fois des cours tutoriaux, ainsi que des sessions ouvertes permettant aux participants de présenter leurs travaux et de confronter leurs idées.

L'emploi du temps de l'École est disponible .

Programme prévisionnel


1. A Short Network tour of Data Science (5h)
Conférencier : Pierre Vandergheynst, EPFL
Mots clés : data science, graphs, networks, machine learning, signal processing on graphs,
Plan ou descriptif : This short course will cover an introduction to graph-based methods in data science. We will mostly focus on graph-based models and graph-based data processing methods, covering unsupervised and (semi)-supervised learning, graph learning, signal processing on graphs and neural networks for graph-based data.

2. Réseaux de neurones profonds (5h)
Conférencier : Patrick Perez, Valeo.ai
Mots clés : apprentissage profond, neurones artificiels, réseaux convolutifs, réseaux récurrents, apprentissage de représentation, modèles génératifs,
Plan:

  1. Introduction : apprentissage machine et apprentissage profond
  2. Réseaux de neurones séquentiels : structure et apprentissage supervisé par rétropropagation du gradient
  3. Régularisation : a priori, augmentation de données, drop-out, etc.
  4. Réseaux convolutifs : filtres et tenseurs, agrégation, architectures, applications
  5. Réseaux récurrents : principes, architectures, apprentissage, applications
  6. Apprentissage de représentation : auto-encoders, auto-supervision, plongements contextuels
  7. Modèles génératifs : machine de Boltzman, auto-encodeur variationel, réseaux génératifs adversaires.

3. Quelques aspects mathématiques des DNN (5h)
Conférencière : Monika Dorfler, Department of Mathematics, University of Vienna
Mots clés: Signal representations and feature extraction; approximation power of deep neural networks; regularization and generalisation in convolutional neural networks; equivalence of networks architectures.
Plan ou descriptif : Deep Learning has led to tremendous successes over the past decade. While the development of algorithms and the optimization of architectures from an empirical point of view has advanced in a breath-taking speed, theoretical explanations and a mathematical description of the setting of deep and convolutional neural networks lag behind. In this course, we will try to give an overview of the most important developments in the efforts to obtain satisfying theoretical explanations for the successes of deep learning. In particular, we will firstly give an introduction to the mathematical theory of an architecture’s expressiveness, which may be seen as an approximation theoretical description of neural networks. Secondly, we will try to understand the interaction of feature design, based on methods from Fourier analysis, and machine learning techniques in particular for audio signal.

4. Une introduction à la géométrie de l’information (2h)
Conférencier : Jean-François Cardoso, Institut d’Astrophysique de Paris
Plan ou Descriptif : Les concepts et opérations de l'inférence statistique peuvent être exprimés dans un cadre géométrique. En géométrie de l’information, les points sont des distributions de probabilité et les surfaces sont des familles de distributions. Sur ces surfaces, c'est l’information de Fisher qui permet de définir la distance entre deux distributions voisines et qui définit (tout ou partie de) la géométrie intrinsèque d'un modèle statistique. Dans ce cours introductif, qui ne requiert pas de connaissance en géométrie différentielle, je montrerai comment on peut visualiser (ou géométriser) plusieurs notions élémentaires de statistique (modèles paramétriques, maximum de vraisemblance, estimation efficace, information de Fisher, familles exponentielles, statistiques exhaustives, maximum d'entropie...) s'interprètent naturellement comme des constructions géométriques où la divergence de Kullback joue un rôle central. Le but du cours est donc de donner à l'étudiant.e un éclairage géométrique à quelques problèmes et notions d'inférence qui, on l'espère, permettra de soutenir son intuition dans des travaux de traitement statistique du signal.

5. Optimisation sur graphes et ses applications (2h)
Conférencière : Camille Couprie, Facebook Artificial Intelligence Research
Plan :

  1. Optimisation variationnelle dans des graphes
    • Découverte de 4 algorithmes de segmentation avec marqueurs dans les graphes (Min cut / max flow, Marcheur aléatoire, Plus courts chemins, Forets de poids maximum).
    • Présentation d'un cadre unificateur de ces problemes et de la Ligne de partage des eaux puissance, nouvelle approche dans laquelle on fait tendre la puissance des poids du graphe vers l'infini, menant a d'interessantes propriétés.
    • Applications des algos classiques et de la LPE puissance : segmentation sans marqueurs, sémantique, reconstruction de surface, stéréovision
    • Applications en biologie: Integration d'a-priori biologiques dans la construction de réseaux de gènes.
  2. Génération d'images avec entrainement de réseaux adversaires
    • Prédiction de trames futures dans des videos
    • Génération d'images créatives

6. Extraction d'Information Musicale à grande échelle (2h)
Conférencier : Manuel Moussallam, Deezer R&D
Mots clés : Apprentissage automatique sur la musique, traitement du signal audio, apprentissage multi-modal, passage à l’échelle.
Plan ou descriptif : Deezer gère un catalogue musical de plusieurs dizaines de millions de titres, et en reçoit quotidiennement des dizaines de milliers supplémentaires. Dans ce contexte, la curation manuelle aurait un coût prohibitif et le recours à l'analyse automatique des signaux et données pour extraire l'information est nécessaire. Nous présenterons les approches classiques en MIR, les évolutions du domaine liées aux progrès en apprentissage automatique et présenterons des travaux de recherche originaux menés au sein de la R&D.