n°36
Mars
2017
Quand l’Astronomie et l’astrophysique européennes s’organisent pour relever les défis BigData de demain

ASTERICS (Astronomy ESFRI and Research Infrastructure Cluster) est une infrastructure de recherche financée par la Commission Européenne Horizon 2020 à hauteur de 15 M€. Le projet rassemble pour la première fois 22 instituts d’astronomie, d’astrophysique et de physique des particules afin de créer une synergie autour des défis auxquels les grandes expériences font face. Il est organisé en 4 work packages scientifiques chargés de la dissémination auprès du grand public, de la gestion du temps et des alertes temps réel, de l’interopérabilité des données et de leur accès, et enfin de la gestion des volumes croissants de données générés par les différents projets européens de recherche inscrits dans la feuille de route de l’ESFRI (le Forum stratégique européen pour les infrastructures de recherches) comme CTA, SKA, KM3NeT et d’autres projets majeurs, notamment Euclid, EGO-VIRGO, E-ELT et LSST.

En particulier, toutes les problématiques de gestion des grands volumes de données sont gérées par le work package OBELICS (Observatory E-environments LINked by common ChallengeS) dirigé par Giovanni Lamanna (LAPP). OBELICS cherche à encourager les développements conjoints et l’adoption de standards et de solutions communes pour le traitement, l’archivage, l’analyse et l’accès aux données des projets internationaux de l’ESFRI.

Le plus important sera sans doute de constituer un réseau de partenaires et un environnement de travail collaboratif. C’est dans cette optique que s’est tenu le 1er workshop d’OBELICS à Rome en décembre 2016 autour du « Science Data Cloud » et des « Computing models in Astronomy and Astroparticle Physics ». Son organisation scientifique a été réalisée par le LAPP et son organisation locale par l’INAF, partenaire du projet. Le site de l’événement est disponible ici.

Les sujets traités ont permis de rassembler les principaux représentants des projets scientifiques internationaux fédérés dans le consortium ASTERICS, des experts d’autres projets européens majeurs dans le domaine des infrastructures numériques (Indigo-DataCloud, HNSCiCloud, AARC2), de l’industrie (ATOS, NVIDIA, ORACLE Europe) et des consortia des institutions partenaires comme EU-T0, APPEC et EGI.eu.

Le workshop a initié la réflexion et le dialogue entre tous ces partenaires sur des problématiques d’intérêt commun. En particulier, une session dédiée à l’Authentification et l’Autorisation (A&A) des utilisateurs accédant aux données s’est organisée autour de CTA et LOFAR servant de cas d’études. Des solutions faisant appel à différentes technologies pour l’Authentification (Shibboleth, certificats X.509, enID connect…), l’Autorisation (Grouper, GMS…) et l’intégration des organisations, communautés ou VO (VOSpace, ObsCore) ainsi que des démonstrations et tutoriels ont été présentés. L’enjeu est clairement de déterminer comment harmoniser les mécanismes A&A même si de grandes lignes comme l’authentification fédérée (type EduGain) font déjà consensus. Le problème du stockage et du transfert de données a été étudié à la lumière de l’expérience SKA qui produira 1 Po de données par jour. Des solutions de très grandes bases de données performantes, comme Qserv développée pour le LSST, ont été présentées, ici encore sous forme de démonstrations. Des systèmes de gestion des processus distribués efficaces et fiables seront également incontournables pour les grandes expériences comme Euclid qui devra traiter ses données sur 8 data centers (dont le CC-IN2P3) ou CTA dont le modèle de calcul se base sur un nombre restreint de data centers associés en un seul « centre virtuel » ; entre d’autres solutions, une démonstration du service DIRAC appliqué d’ailleurs avec succès dans le cadre de la production des simulations de Monte Carlo de CTA, a été présentée. Enfin, la dernière session fut dédiée à l’interopérabilité entre CPU et GPU afin d’utiliser ces ressources de façon optimale.

Un nouveau workshop aura lieu à l’automne 2017 et devra fortifier les liens et projets développés à la suite de cette première rencontre.

Autre événement d’OBELICS à venir : l’organisation d’une école est en cours. L’école « Advanced software programming for astrophysics and astroparticle physics » aura lieu au LAPP (Annecy-le-Vieux) du 6 au 9 juin 2017 et s’adressera aux doctorants et chercheurs désirant acquérir des techniques de programmation avancées et efficaces afin d’optimiser leurs codes en Python. Les sessions mêleront cours théoriques et travaux pratiques autour de trois grandes thématiques : « Efficient code design, Parallel and GPU programming and Scientific librairies ». Pour en savoir plus sur le programme et les inscriptions, rendez-vous sur le site.

Thomas VUILLAUME (LAPP)