cours

Responsable: Gabriel TURINICI

1/ Introduction au reinforcement learning
2/ Formalisme théorique : « Markov decision processes » (MDP), function valeur ( équation de Belman et Hamilton- Jacobi – Bellman) etc.
3/ Stratégies usuelles, sur l’exemple de “multi-armed bandit”
4/ Stratégies en deep learning: Q-learning et DQN
5/ Stratégies en deep learning: SARSA et variantes
6/ Stratégies en deep learning: Actor-Critic et variantes
7/ Implémentations Python variées
8/ Perspectives.

Document principal pour les présentations théoriques: (aucune distribution n’est autorisée sans accord ECRIT de l’auteur)

Code: MAB , MAB v2.,

Gym: jeu Frozen Lake (v2023) (version 2022)

Q-Learning : avec Frozen Lake, version python ou version notebook

-jouer avec gym/Atari-Breakout: version python ou version notebook

Deep Q Learning (DQN) : Apprendre avec gym/Atari-Breakout: version 2023 : python ou notebook

Anciennes version (2022): version python ou version notebook

Projets : cf. Teams

Responsable de cours: Gabriel TURINICI
Contenu:
1 Introduction
2 EDO
3 Calcul de dérivée et contrôle
4 EDS
Bibliographie: poly distribué

Documents de support de cours, autres documents

NOTA BENE: Tous des documents sont soumis au droit d’auteur, et ne peuvent pas être distribués sauf accord préalable ECRIT de l’auteur.

Supports de cours:   livre « Simulations numériques des problèmes dépendant du temps: appliquées à l’épidémiologie, l’intelligence artificielle et les finances« 

• POLY MIS A JOUR (dernière mise à jour: 17/04/2023). (ne pas diffuser sauf accord ECRIT de l’auteur)
• Notes manuscrites prises lors des séances de cours 2022/23 (document 1/2) , 2022/23(document 2/2)  (version  2021/22 ici)
• Poly annoté 2022/23   lors des séances de cours.
• Cours du 07/03/2023 (version confinement 2021!!): video Youtube chapitre 3 (motivation calcul backward) : visioner ICI

          Seances de TD: 2022/23

• Implementations TP:
• EDO: exo sur la précision, exo stabilité , SIR(EE + H),  order for the EE scheme/SIR , SIR (version 1)
• SIR (version controle, adjoint / backward); (version 2023 here)
• EDS version 2023 : simulation brownien, calcul intégrale, simulation St, simulation risque neutre, calcul prix option (v1),
• EDS version 2023 :Euler-Maruyama faible pour Ornstein-Uhlenbeck, Euler-Maruyama (classique) pour Black-Scholes (log normal)
• Version précédentes: EDS (v1),  EDS (v2)

VERSION 2020/21

• Poly avec les annotations pendant le cours: ici.
• Notes manuscrites 2020/21 prises lors des séances de cours.
• Notes manuscrites séance de TD (groupe 1): séance 1: ICI, séance 2, séance 3, séance 4, séance 5, séance 6,séance 7 (EDS).
• Séances de TP (groupe 1) : code d’exploration de la précision, (version courte ici),  code stabilité Euler explicite, code SIR (début), code contrôle SIR, code génération brownien, code Euler-Maruyama et Monte Carlo,
• Cours 1 du 19/1/2021: video Youtube chapitre 1 (motivation/EDO) : visioner ICI , ensuite revenir sur la séance Teams pour commentaires et questions.; video Youtube chapitre 1 (motivation/EDS) : visioner ICI , ensuite revenir sur la séance Teams pour commentaires et questions.; video Youtube chapitre 1 (motivation/backward) : visioner ICI , ensuite revenir sur la séance Teams pour commentaires et questions.
• Cours 2: voir le poly annoté; une video Youtube partielle chapitre 2 (EDO/existence) : visioner ICI

Responsable: Gabriel TURINICI

Contenu

• probabilité historique (gestion de portefeuille classique), portefeuilles optimaux, beta, arbitrage, APT
• Valuation de produits dérivés et probabilité risque neutre
• Trading de volatilité, volatilité locale
• Assurance du portefeuille: stop-loss, options, CPPIs, Constant Mix
• Options exotiques ou cachées: ETF short, etc.

Documents (support de cours, autres documents, …)

NOTA BENE: Tous des documents sont soumis au droit d’auteur, et ne peuvent pas être distribués sauf accord préalable ECRIT de l’auteur.

Nom chapitre	Partie théorique	Implémentation	Résultats
Gestion classique de portefeuille (proba historique)	slides	Data python: format CSV et format PICKLE Autres données : CSV court (30/40) Programme: tests statistiques de normalité (version 2023) (version précédente). Programme: portefeuille optimal vs. pris au hasard, version 2023 (versions anciennes: v1, v2 )
produits dérivés et probabilité risque neutre	livre du cours de M1 « Mouvement Brownien et évaluation d’actifs dérivés » slides: rappels dérivées	Code: génération de brownien, calcul Monte Carlo d’options ; autre version Codes: prix et delta des options vanilles (Black & Scholes) Code delta hedging, version Bachelier
Trading de volatilité	document pdf	Code: trading de volatilité (ancienne version)	Résultats
Assurance du portefeuille: stop-loss, options, CPPIs, Constant Mix	slides, livre du cours de M1, sections 6.2 ; Notes manuscrites Vidéo Youtube sur le CPPI: partie 1/2, partie 2/2 Beta slippage: présentation.	Code: stop loss, code CPPI, code CPPI v2 code Constant-Mix dataC40	Résultat stop-loss, résultat CPPI, résultat constant-mix
Outils	code exemple téléchargement de données avec Yahoo ! Finance
Divers:	Projet (ancienne version)

Note historique: nom du cours 2019/21: « Approches déterministes et stochastiques pour la valuation d’options »

Responsable: Gabriel TURINICI (voir aussi les interventions de C. Vincent)

Contenu:
1/ Deep learning : applications majeures, références, culture
2/ Types d’approches: supervisé, renforcement, non-supervisé
3/ Réseaux neuronaux: présentation des objets: neurones, opérations, fonction loss, optimisation, architecture
4/ Focus sur les algorithmes d’optimisation stochastique et preuve de convergence de SGD
5/ Réseaux convolutifs (CNN) : filtres, couches, architectures
6/ Technique: back-propagation, régularisation, hyperparamètres
7/ Réseaux particuliers: réseaux récurrents (RNN) et LSTM; réseaux génératifs (GAN, VAE)
8/ Environnements de programmation pour réseaux neuronaux: Tensorflow, Keras, PyTorch et travail sur les exemples vus en cours

9/ Si le temps permet: NLP: word2vec and Glove: exemples d’utilisation : femme-homme+roi = reine

Document principal pour les présentations théoriques (aucune distribution n’est autorisée sans accord ECRIT de l’auteur)	poly du cours de M1 – évolution (pour back-propagation)
Code approximation de fonctions par NN : version notebook, version py Resultats (approximation et convergence) Le même après 5 fois plus d’époques Référence « officielle » du code: https://doi.org/10.5281/zenodo.7220367	Preuve convergence SGD (version francaise) SGD convergence proof (english version)
Implementation keras/Iris	Autres implémentations: exemple « à la main » sans Keras ni tf ni pytorch : couches denses (bd=iris) – autres implementations : cf. doc.

VERSIONS 2020/22

NOTA BENE: Tous des documents sont soumis au droit d’auteur, et ne peuvent pas être distribués sauf accord préalable ECRIT de l’auteur.

petit sondage (8 min) sur l’IA et médecine: répondre ICI.

Document principal de présentation: cours	poly du cours de M1 – évolution (pour back-propagation)
Preuve convergence SGD (FR)	Preuve convergence SGD (anglais)
Implementation keras/Iris	Autres implementations: cf. doc.

Responsable: Gabriel TURINICI

Contenu

• 1 Quelques rappels de calcul stochastique
• 2 Generalites sur les modeles de taux
• 3 Produits de taux classiques
• 4 Le modele LGM
• 5 Le modele BGM
• 6 Modele SABR  
• 7 Modele d’Heston (en fonction du temps)  
• Bibliographie: poly distribué

Documents de support de cours, autres documents

NOTA BENE: Tous des documents sont soumis au droit d’auteur, et ne peuvent pas être distribués sauf accord préalable ECRIT de l’auteur.

Supports de cours: POLY , attention il s’agit d’une version mise à jour au fur et à mesure (dernière mise à jour: 5/3/2021).

Autres :  poly annoté, notes manuscrites

Partie introductive: poly analyse numérique, regarder chapitre « EDS » pour rappels de calcul sto.