Ces dernières années les modèles de diffusion ont pris une importance croissante dans le domaine de l’apprentissage profond. Il est à l’origine d’applications remarquées pour la génération texte-vers-image mais aussi de texte-vers-vidéo. Le concept de diffusion est sous-jacent à ces outils génératifs. La pluie est un phénomène complexe, “non stationnaire” et “extrême”. L’apprentissage de ses propriétés nécessite de mieux prendre en compte ses particularités. L’objectif est ici de s’intéresser à ce problème en utilisant des modèles de diffusion pour la génération d’images de radar pluie. Ce travail sera dans la continuité de travaux qui ont permis de tester un certain nombre de configurations de génération de cartes de pluie mais aussi de leur évaluation.

Travail à réaliser :

Le stage se focalisera sur l’apprentissage d’un modèle génératif, guidé, sur un jeu de données conséquent d’images de résolution fine (1km toutes les 5min) issues du réseau de radars météorologiques ARAMIS (Météo France). Le stage devrait permettre d’identifier des méthodes de simulations d’images « réalistes » d’événements extrêmes sous représentés dans les jeux actuellement appris. Le jeu de données étant constitué, il faudra tester différentes configurations d’apprentissage guidées ainsi que leurs validations.

Dans un premier temps, il s’agira de se familiariser avec les modèles de diffusion conditionnels ainsi qu’aux choix d’implémentation. Cela se fera via une étude bibliographique guidée, de quelques articles [1] [2] [3] et blogs [4][5][6] de référence. Un travail particulier sera requis pour proposer des critères d’évaluation des cartes de pluie inférées. En plus du FID (pour l’anglais Fréchet Inception Distance), on cherchera des critères spécifiques permettant de tester la distribution des données fournies par le modèle. Il faudra aussi bien comprendre la relation spécifique des modèles de diffusion avec les propriétés spectrales propres aux images naturelles [7] mais aussi à la pluie.

La seconde partie du stage sera plus spécifiquement dédiée à l’apprentissage et à la génération conditionnelle. Des premiers tests concluants, ont permis de générer des cartes de précipitation conditionnées sur des spectres d’énergies de cartes existantes. L’objectif sera de faire évoluer ce conditionnement pour améliorer significativement la génération. Il faudra par ailleurs évaluer la qualité des générations obtenues sans conditionnement.

Mots clefs : Modèle génératif, Modèle de Diffusion, Modèle de Diffusion conditionnel, Précipitations

Bibliographie :

[1] Dhariwal, P., & Nichol, A. (2021). Diffusion models beat gans on image synthesis. Advances in neural information processing systems, 34, 8780-8794.

[2] Ho, J., & Salimans, T. (2022). Classifier-free diffusion guidance. arXiv preprint arXiv:2207.12598.

[3] Nichol, A. Q., Dhariwal, P., Ramesh, A., Shyam, P., Mishkin, P., Mcgrew, B., … & Chen, M. (2022, June). GLIDE: Towards Photorealistic Image Generation and Editing with Text-Guided Diffusion Models. In International Conference on Machine Learning (pp. 16784-16804). PMLR.

[4] Weng, L. (2021). What are diffusion models?, https://lilianweng.github.io/posts/2021-07-11-diffusion-models.

[5] Dieleman, S. (2022) Guidance: a cheat code for diffusion models, https://sander.ai/2022/05/26/guidance.html.

[6] Dieleman, S. (2023) The geometry of diffusion guidance, https://sander.ai/2023/08/28/geometry.html.

[7] Dieleman, S. (2024) Diffusion is spectral autoregression, https://sander.ai/2024/09/02/spectral-autoregression.html.