Cours Deep Learning, M2 ISF App, 2020+

Responsable: Gabriel TURINICI (voir aussi les interventions de C. Vincent)


Contenu:
1/ Deep learning : applications majeures, références, culture
2/ Types d’approches: supervisé, renforcement, non-supervisé
3/ Réseaux neuronaux: présentation des objets: neurones, opérations, fonction loss, optimisation, architecture
4/ Focus sur les algorithmes d’optimisation stochastique et preuve de convergence de SGD
5/ Réseaux convolutifs (CNN) : filtres, couches, architectures
6/ Technique: back-propagation, régularisation, hyperparamètres
7/ Réseaux particuliers: réseaux récurrents (RNN) et LSTM; réseaux génératifs (GAN, VAE)
8/ Environnements de programmation pour réseaux neuronaux: Tensorflow, Keras, PyTorch et travail sur les exemples vus en cours

9/ Si le temps permet: NLP: word2vec and Glove: exemples d’utilisation : femme-homme+roi = reine


Document principal pour les présentations théoriques
(aucune distribution n’est autorisée sans accord ECRIT de l’auteur)
poly du cours de M1 – évolution (pour back-propagation)
Code approximation de fonctions par NN : version notebook, version py
Resultats (approximation et convergence)

Le même après 5 fois plus d’époques
Référence « officielle » du code: https://doi.org/10.5281/zenodo.7220367
Preuve convergence SGD (version francaise)
SGD convergence proof (english version)
Implementation keras/Iris Autres implémentations:
exemple « à la main » sans Keras ni tf ni pytorch : couches denses (bd=iris)
– autres implementations : cf. doc.


VERSIONS 2020/22

NOTA BENE: Tous des documents sont soumis au droit d’auteur, et ne peuvent pas être distribués sauf accord préalable ECRIT de l’auteur.
petit sondage (8 min) sur l’IA et médecine: répondre ICI.
Document principal de présentation: courspoly du cours de M1 – évolution (pour back-propagation)
Preuve convergence SGD (FR)Preuve convergence SGD (anglais)
Implementation keras/Iris Autres implementations: cf. doc.

2 réflexions sur “ Cours Deep Learning, M2 ISF App, 2020+ ”

  • juin 22, 2021 à 12:34
    Permalink

    Bonjour Monsieur,

    J’étais votre étudiante en Méthodes Numériques et Statistiques non Paramétriques cette année en M1 Mathémathiques Appliquées à Paris Dauphine. Je cherche le poly de votre cours de M2 Deep Learning mais je ne le trouve pas sur le site. Pourriez-vous m’y donner l’accès ? Je cherche à approfondir mes connaissances sur le domaine.

    Je vous remercie d’avance

    Réponse
    • juin 25, 2021 à 7:39
      Permalink

      Merci pour votre intérêt dans ce cours, j’ai mis en ligne une version qui reprend une grande partie du cours. Le cours contient aussi plusieurs présentations de travaux extérieurs (certains cités dans les transparents, notamment mes travaux dans ce domaine) et aussi des présentations des étudiants que je ne peux pas diffuser pour des raisons de droits d’auteur.
      bien cordialement,
      G.T.

      Réponse

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *