n°9
janvier
2010
SRB fête ses 2 péta-octets au CC-IN2P3

La gestion de masses de données importantes dans un environnement hétérogène et distribué est devenue une problématique de plus en plus importante au cours de la dernière décennie : de nombreux projets scientifiques voient leurs données stockées sur des systèmes hétérogènes que ce soit au niveau logiciel et matériel, et réparties à travers de nombreux centres de calcul.

Afin de faciliter grandement la tâche des chercheurs et des développeurs d’application, il est nécessaire dans ce contexte complexe de fournir des outils qui permettent de virtualiser le stockage et l’accès des données afin que l’ensemble des collaborateurs travaillant sur un lot de données puissent y accéder de façon transparente quelque soit l’endroit où ils se trouvent et quelque soit l’endroit où ces fichiers ou bases de données sont stockés.

Des particules élémentaires aux étoiles

SRB (Storage Resource Broker) est un intergiciel de grille qui offre toute une panoplie de services permettant de virtualiser le stockage des données afin que les utilisateurs n’aient plus à se soucier de savoir où se trouvent leurs données lorsqu’ils ont besoin d’y accéder. SRB a été développé par le SDSC (San Diego Supercomputer Centre) à l’Université de Californie - San Diego. Il est utilisé par de nombreux programmes scientifiques à travers le monde dans des domaines très variés. Au CC-IN2P3, où il est en production depuis 2003, il est utilisé que ce soit pour la physique des particules (ex : BaBar, QCD sur réseau), l’astroparticule (ex : Auger, Antares, Virgo), la biologie (embryogénèse), le biomédical (neurosciences), l’astrophysique. Fin 2009, SRB gère plus de 2 Po de données sur l’ensemble de ces projets au CC-IN2P3.

Du PC au supercalculateur

L’activité sur le service SRB peut engendrer des centaines de milliers de connexions par jour provenant d’utilisateurs se trouvant un peu partout en Europe, aux USA et jusqu’en Australie. Les utilisations sont très variées allant du simple poste de travail (Windows, Mac, Linux) aux supercalculateurs comme ceux de l’IDRIS et du CINES. Dans ce dernier cas de figure, on a pu observer des trafics réseau atteignant 10 To par jour.

Et l’avenir ?

L’activité de SRB au CC-IN2P3 sera encore intense cette année (croissance estimée de 1 Po) même si cet outil fera peu à peu place à son successeur iRODS (iRule Oriented Data Systems) pour lequel le CC-IN2P3 participe aux développements. iRODS est déjà en production pour des projets dans les domaines des Sciences Humaines et Sociales (projet Adonis) et en biologie/biomédical. Grâce à son système de moteur de règles, iRODS permet d’aller encore bien plus loin que SRB en permettant la mise en place de cycles de vie de données complexes et ce de façon totalement transparente pour l’utilisateur. Il permet d’ores et déjà de s’interfacer avec les environnements de Cloud Computing comme celui de Amazon S3. Tout ceci ouvre des perspectives très riches dans le domaine de la gestion de volume massif de données distribuées.

Jean-Yves NIEF