Gabriel Turinici

Instructor: Gabriel TURINICI

1/ Introduction to reinforcement learning
2/ Theoretical formalism: Markov decision processes (MDP), value function ( Belman and Hamilton- Jacobi – Bellman equations) etc.
3/ Common strategies, building from the example of « multi-armed bandit »
4/ Strategies in deep learning: Q-learning and DQN
5/ Strategies in deep learning: SARSA and variants
6/ Strategies in deep learning: Actor-Critic and variants
7/ During the course: various Python and gym/gymnasium implementations
8/ Perspectives.

---

Principal document for the theoretical presentations: (no distribution autoried without WRITTEN consent from the author)

Multi Armed Bandit codes (MAB) : play MAB, solve MAB , solve MAB v2., policy grad from chatGPT to correct., policy grad corrected.

Bellman iterations: code to correct here, solution code here

Gym: play Frozen Lake (v2023) (version 2022)

Q-Learning : with Frozen Lake, python version or notebook version

-play with gym/Atari-Breakout: python version or notebook version

Deep Q Learning (DQN) : Learn with gym/Atari-Breakout: version 2023 : python or notebook

Old version (2022): python or notebook

Projets : cf. Teams

---

---

Responsable: Gabriel TURINICI

Contenu

• probabilité historique (gestion de portefeuille classique), portefeuilles optimaux, beta, arbitrage, APT
• Valuation de produits dérivés et probabilité risque neutre
• Trading de volatilité, volatilité locale
• Assurance du portefeuille: stop-loss, options, CPPIs, Constant Mix
• Options exotiques ou cachées: ETF short, etc.

---

Documents (support de cours, autres documents, …)

NOTA BENE: Tous des documents sont soumis au droit d’auteur, et ne peuvent pas être distribués sauf accord préalable ECRIT de l’auteur.

Nom chapitre	Partie théorique	Implémentation	Résultats
Gestion classique de portefeuille (proba historique)	slides	Data python: format CSV et format PICKLE Autres données : CSV court (30/40) Programme: tests statistiques de normalité (version 2023) (version précédente). Programme: portefeuille optimal vs. pris au hasard, version 2023 (versions anciennes: v1, v2 )
produits dérivés et probabilité risque neutre	livre du cours de M1 « Mouvement Brownien et évaluation d’actifs dérivés » slides: rappels dérivées	Code: génération de brownien, version Euler-Maruyama à corriger et calcul MC ; calcul Monte Carlo d’options ; Codes: prix et delta des options vanilles (Black & Scholes) Code delta hedging, version Bachelier
Trading de volatilité	document pdf	Code: trading de volatilité (ancienne version)	Résultats
Assurance du portefeuille: stop-loss, options, CPPIs, Constant Mix	slides, livre du cours de M1, sections 6.2 ; Notes manuscrites Vidéo Youtube sur le CPPI: partie 1/2, partie 2/2 Beta slippage: présentation.	Code: stop loss, code CPPI, code CPPI v2 code Constant-Mix dataC40	Résultat stop-loss, résultat CPPI, résultat constant-mix
Deep learning pour pricing d’options		Code a compléter: — version python notebook ou — version python simple (renommer le fichier de *.txt à *.py) Code corrigé : version python notebook
Outils	code exemple téléchargement de données avec Yahoo ! Finance
Divers:	Projet (ancienne version)

Note historique: nom du cours 2019/21: « Approches déterministes et stochastiques pour la valuation d’options »

Responsable de cours: Gabriel TURINICI
Contenu:
1 Introduction
2 EDO
3 Calcul de dérivée et contrôle
4 EDS
Bibliographie: poly distribué

Documents de support de cours, autres documents

NOTA BENE: Tous des documents sont soumis au droit d’auteur, et ne peuvent pas être distribués sauf accord préalable ECRIT de l’auteur.

Supports de cours:   livre « Simulations numériques des problèmes dépendant du temps: appliquées à l’épidémiologie, l’intelligence artificielle et les finances« 

• 1/ POLY en français (mis à jour 11/03/2024). Ne pas diffuser sauf accord ECRIT de l’auteur. Attention: seulement les cours en amphi font foi, le poly est juste pour aider.
• 2/  NEW !!! course textbook en english (with help from Ilinca Tiriblecea & V.T.)
• 3/ Poly annoté 2023/24 lors des séances de cours : chapitres EDO et backward  et chapitre EDS
• 4/ Notes manuscrites prises lors des séances de cours 2023/24

 

• Autres notes manuscrites : séances de cours 2022/23 (document 1/2) , 2022/23(document 2/2)  (version  2021/22 ici)
• Cours du 07/03/2023 (version confinement 2021!!): video Youtube chapitre 3 (motivation calcul backward) : visioner ICI

          Seances de TD: 2022/23

 

Implementations TP:

• • EDO: exo sur la précision, exo stabilité , SIR(EE+H+RK4),  order for the EE/H schemes/SIR
  • SIR (version controle, adjoint / backward); (version 2023 here)
  • EDS version 2024 : simulation brownien, calcul intégrale (version 2023 ici)
  •  
  • EDS version 2023 :Euler-Maruyama faible pour Ornstein-Uhlenbeck, Euler-Maruyama (classique) pour Black-Scholes (log normal)
  • Autres versions précédentes: EDS (v1),  EDS (v2)

  ---

  VERSION ANCIENNE 2020/21

  • Poly avec les annotations pendant le cours: ici.
  • Notes manuscrites 2020/21 prises lors des séances de cours.
  • Notes manuscrites séance de TD (groupe 1): séance 1: ICI, séance 2, séance 3, séance 4, séance 5, séance 6,séance 7 (EDS).
  • Séances de TP (groupe 1) : code d’exploration de la précision, (version courte ici),  code stabilité Euler explicite, code SIR (début), code contrôle SIR, code génération brownien, code Euler-Maruyama et Monte Carlo,
  • Cours 1 du 19/1/2021: video Youtube chapitre 1 (motivation/EDO) : visioner ICI , ensuite revenir sur la séance Teams pour commentaires et questions.; video Youtube chapitre 1 (motivation/EDS) : visioner ICI , ensuite revenir sur la séance Teams pour commentaires et questions.; video Youtube chapitre 1 (motivation/backward) : visioner ICI , ensuite revenir sur la séance Teams pour commentaires et questions.
  • Cours 2: voir le poly annoté; une video Youtube partielle chapitre 2 (EDO/existence) : visioner ICI

Responsable: Gabriel TURINICI (voir aussi les interventions de C. Vincent)

Contenu:
1/ Deep learning : applications majeures, références, culture
2/ Types d’approches: supervisé, renforcement, non-supervisé
3/ Réseaux neuronaux: présentation des objets: neurones, opérations, fonction loss, optimisation, architecture
4/ Algorithmes d’optimisation stochastique et preuve de convergence de SGD
5/ Calcul du gradient par « back-propagation »
6/ Implémentation en “pure Python” d’un réseau à couches denses
7/ Réseaux convolutifs (CNN) : filtres, couches, architectures. 
8/ Implémentation Keras d’un CNN.
9/ Techniques: régularisation, hyperparamètres, réseaux particuliers: réseaux récurrents (RNN) et LSTM; 
10/ Deep learning non supervisé:  réseaux génératifs et IA générative (GAN, VAE), Stable diffusion.
11/ Implémentation Keras d’un VAE. Utilisation “Hugginface” de Stable Diffusion.
(12/ Si le temps permet: LLM et NLP: word2vec and Glove: exemples d’utilisation : femme-homme+roi = reine)

---

Implémentations

Code approximation de fonctions par NN : version notebook, version py Resultats (approximation et convergence) Le même après 5 fois plus d’époques Référence « officielle » du code: https://doi.org/10.5281/zenodo.7220367

Implementation keras/Iris Autres implémentations: exemple « à la main » A CORRIGER sans Keras ni tf ni pytorch : couches denses (bd=iris), version corrigée – autres implementations : cf. doc. Si besoin : le dataset Iris est ici

VAE: version avec visualisation espace latent: CVAE version python (renommer *.py) , CVAE version ipynb

Stable diffusion: exemple qui marche le 19/1/2024 sur Google collab: version notebook, (ici la version python, changer le nom en *.py). ATTENTION l’exécution initiale prend autour de 10 minutes, ensuite c’est plus rapide (juste changer le prompt).

---

---

VERSIONS 2020/22

NOTA BENE: Tous des documents sont soumis au droit d’auteur, et ne peuvent pas être distribués sauf accord préalable ECRIT de l’auteur.

petit sondage (8 min) sur l’IA et médecine: répondre ICI.

Document principal de présentation: cours	poly du cours de M1 – évolution (pour back-propagation)
	Preuve convergence SGD (anglais)
Implementation keras/Iris	Autres implémentations: cf. doc.