Responsable: Gabriel TURINICI (voir aussi les interventions de C. Vincent)
Contenu:
1/ Deep learning : applications majeures, références, culture
2/ Types d’approches: supervisé, renforcement, non-supervisé
3/ Réseaux neuronaux: présentation des objets: neurones, opérations, fonction loss, optimisation, architecture
4/ Focus sur les algorithmes d’optimisation stochastique et preuve de convergence de SGD
5/ Réseaux convolutifs (CNN) : filtres, couches, architectures
6/ Technique: back-propagation, régularisation, hyperparamètres
7/ Réseaux particuliers: réseaux récurrents (RNN) et LSTM; réseaux génératifs (GAN, VAE)
8/ Environnements de programmation pour réseaux neuronaux: Tensorflow, Keras, PyTorch et travail sur les exemples vus en cours
9/ Si le temps permet: NLP: word2vec and Glove: exemples d’utilisation : femme-homme+roi = reine
 Document principal pour les présentations théoriques (aucune distribution n’est autorisée sans accord ECRIT de l’auteur) | poly du cours de M1 – évolution (pour back-propagation) |
| Code approximation de fonctions par NN : version notebook, version py Resultats (approximation et convergence)     Le même après 5 fois plus d’époques   Référence « officielle » du code: https://doi.org/10.5281/zenodo.7220367 | Preuve convergence SGD (version francaise) SGD convergence proof (english version) |
| Implementation keras/Iris | Autres implémentations: exemple « à la main » sans Keras ni tf ni pytorch : couches denses (bd=iris) – autres implementations : cf. doc. |
Bonjour Monsieur,
J’étais votre étudiante en Méthodes Numériques et Statistiques non Paramétriques cette année en M1 Mathémathiques Appliquées à Paris Dauphine. Je cherche le poly de votre cours de M2 Deep Learning mais je ne le trouve pas sur le site. Pourriez-vous m’y donner l’accès ? Je cherche à approfondir mes connaissances sur le domaine.
Je vous remercie d’avance
Merci pour votre intérêt dans ce cours, j’ai mis en ligne une version qui reprend une grande partie du cours. Le cours contient aussi plusieurs présentations de travaux extérieurs (certains cités dans les transparents, notamment mes travaux dans ce domaine) et aussi des présentations des étudiants que je ne peux pas diffuser pour des raisons de droits d’auteur.
bien cordialement,
G.T.