LSST

(Vera Rubin Observatory - Legacy Survey of Space and Time)

Journée "Orchestration de conteneurs"

​

Dominique Boutigny - LAPP

CC-IN2P3 - 16 février 2020

Survey:

• Démarrage fin 2022
• Durée: 10 ans

Système à 3 miroirs extrêmement compact

• D = 8.40 m
• f/d = 1.23

• 3.2 milliards de pixels lus en 2 s
• 189 CCD
• 9.6 deg² (38 pleines Lunes)
• -100 ⁰C
• 3 tonnes

Le plan focal est terminé d'assembler à SLAC

• En cours de tests

Quelle Science ?

LSST a été conçu et optimisé pour la cosmologie et l'étude de l'énergie noire dans l'univers

• Mesure globale de l'univers en 3 dimensions
• Mesure précise de la position, de la forme et de la couleur de ~3 milliards de galaxies (20 miliards détectées)

​

LSST va ré-imager régulièrement les mêmes régions du ciel

• en moyenne 1x / 3 jours - additions des images → on sonde l'univers de plus en plus profondément
• plusieur fois par nuit dans les champs profonds

⇒ Un instrument sans équivalent pour détecter les phénomènes transitoires

• Supernovae
• Astéroïdes
• contreparties optiques de sursauts gamma / neutrinos / ondes gravitationnelles...

​

Et aussi : 17 milliards d'étoiles de notre galaxies

• Moins précis que Gaia mais sensible à des étoiles beaucoup plus faibles

Fink Broker

Beaucoup de données

Au bout de 10 ans:

• 37 milliards d'objets astronomiques
• 7 trillions de sources détectées sur les images individuelles
• 30 trillions de "forced sources"

​

Ces données seront traitées (Data Release Processing) et cataloguées dans une base de données

​

CC-IN2P3 en charge du traitement de 50% des données

• Jeu d'images et catalogues complets au CC-IN2P3

Avant le Data Release Processing, les données sont traitées quasiment en temps réel (< 1 minute) pour comparer chaque nouvelle image à une référence

⇒ détections des phénomènes transitoires

~plusieurs millions d'alertes chaque nuit

La base de données Qserv

Base de données développée à SLAC + Clermont (Fabrice)

• SQL - like
• architecture "shared nothing"
• distribuée sur des centaines de noeuds
• xrootd comme protocole de communication entre les noeuds
• 11 Data Releases sur 10 ans - DR11: 15 Po

Qserv @ IN2P3

Une plateforme de test a été déployé il y a ~5 ans dans le cadre du partenariat CC-IN2P3 / DELL

• 2 sous clusters dont 1 géré avec kubernetes
• principale plateforme de test pour les développeurs Qserv jusqu'au déploiement d'une plateforme au NCSA

Nouveau cluster en cours de déploiement:

• 20 workers 256 GB RAM / 64 TB disk
• 2 masters 256 GB/RAM / 15 TB disk
• 3 noeuds kubernetes 64 GB RAM / 1 TB disk

​

Travail en cours au LAPP (Sabine Elles + DB) + LPC (Fabrice Jammes) pour ingérer des données LSST simulées dans Qserv et tester ses fonctionnalités d'un point de vue "analyses scientifiques"

• cluster de test déployé par Sabine sur OpenStack
• premiers tests encourageants au niveau de l'utilisabilité scientifique
• forte instabilité du système / k8s - probablement liée aux limitations de la plateforme (mémoire)

Première brique de la plateforme de production

Plateforme d'analyse (LSP)

La LSP est constituée d'un ensemble de composants logiciels

• Accès aux données
• Visualisation (Firefly)
• Analyse interactive (Notebooks Jupyter)
• Interface vers des ressources de calcul (batch, ferme parallèle…)

​

• Principalement développée à IPAC
• Prototype disponible à NCSA
• Orchestrée avec kubernetes

On prévoit de tester et d'évaluer chaque composant de la LSP sur une plateforme de test au CC-IN2P3 ou au LAPP

• recrutement d'un CDD de 2 ans dans le cadre d'ESCAPE

On peut envisager d'étendre les fonctionnalités de la LSP pour en faire une plateforme d'analyse plus générale orientée vers la science multi-messagers

Voir: Christine Banek @ADASS 2019

https://www.adass2019.nl/wp-content/uploads/adass-oral/I6-1-5d9bb2b4cdc891-34807071.pdf