n°26
Février
2014
Simulation de systèmes de stockage au CC-IN2P3

Depuis octobre 2008, le Centre de Calcul de l’IN2P3 héberge une équipe de recherche en informatique dirigée par Frédéric Suter. L’un des thèmes étudié est la simulation de systèmes informatiques distribués. Cette étude est financée actuellement par le projet ANR SONGS (Simulation of Next Generation Systems) qui fait partie du programme INFR 2011 (Infrastructures matérielles et logicielles pour la société numérique). A ce titre, l’équipe recherche du CC-IN2P3 dirige le Work Package 1 : [Data]Grid, avec pour objectif, la simulation des campagnes de transfert de données entre le LHC et les espaces de stockage du Centre de Calcul situé à Villeurbanne.

Actuellement, les données du LHC sont transférées et accédées au sein du Centre de Calcul (l’un des 11 Tiers 1 à travers le monde) via les services XRootD, iRods et DCache, qui sont interfacés avec le système de stockage hiérarchique HPSS installé au CC-IN2P3. HPSS s’appuie sur une infrastructure de stockage à deux niveaux, un premier niveau reposant sur des disques durs (qui fait office de "cache" de données) et un deuxième niveau reposant sur des librairies de bandes magnétiques. En plus d’être pérenne, le stockage sur bande est capacitif et peu cher.

L’un des premiers objectifs de ce projet de recherche est de simuler le fonctionnement du composant logiciel qui gère l’ordonnancement des montages des données depuis les bandes magnétiques vers les disques durs et de tester différentes stratégies. L’intérêt de cette simulation est de trouver "in silico" la stratégie optimale en se basant sur des charges de montage tirées de cas réels d’utilisation du système HPSS. Dans un second temps, la simulation complète d’un transfert d’un gros jeu de données entre le LHC et le CC-IN2P3 (LHC staging campaigns) sera réalisée et permettra une aide à la décision pour le dimensionnement et l’organisation des infrastructures et services de stockage.

Ces simulations seront réalisées à l’aide de SimGrid, environnement de simulation d’applications distribuées sur des systèmes distribués hétérogènes. SimGrid propose aux chercheurs en informatique des outils pour la simulation de grands systèmes distribués et/ou parallèles comme les grilles de calcul, les systèmes pair à pair ou le "cloud". L’un des premiers travaux effectué par Pierre Veyre, ingénieur d’étude au CC-IN2P3, a été d’ajouter à SimGrid les abstractions nécessaires à la simulation d’éléments de stockage.

L’environnement offre maintenant aux utilisateurs une API de manipulation de fichiers et de systèmes de stockage qui pourra être utilisée dans d’autres domaines d’application. La seconde étape est de concevoir et de valider différents modèles de stockage rendant compte des caractéristiques actuelles des disques durs et bandes magnétiques du marché.

Une fois ce travail effectué, un simulateur HPSS complet pourra être implémenté. Il sera fondé sur l’infrastructure de stockage actuelle et sur un catalogue réel de plusieurs millions de fichiers. Ainsi, des scénarios de rejeu tirés des journaux d’utilisation de HPSS et des services de stockage utilisés au CC-IN2P3 pourront être reproduis et simulés.

Liens utiles :

- http://simgrid.org

- http://infra-songs.gforge.inria.fr

Pierre VEYRE

Rechercher
     

Directeur de la publication  : Alain Fuchs.
Responsables éditoriaux : Giovanni Lamanna et Pierre-Etienne Macchi.
Comité de rédaction : Virginie Dutruel et Gaëlle Shifrin.

logo CCIN2P3
© CCIN2P3