Depuis une dizaine d’années, le Centre de Calcul de l’IN2P3 (CC-IN2P3) est un site de niveau 1 (Tier 1) au sein de la grille de calcul WLCG (Worldwide LHC Computing Grid). A ce titre, le CC-IN2P3 propose le système de stockage dCache [1] aux expériences du LHC (Atlas, CMS et LHCb). dCache est également proposé aux utilisateurs appartenant à d’autres expériences hors communauté "HEP" (High Energy Physics), comme par exemple HESS, CTA ou bien encore Biomed. Ce système de stockage est largement déployé à travers le monde, mais principalement en Europe et en Amérique du Nord.
Mais qu’est-ce que dCache exactement ? dCache est un système de stockage de fichiers développé conjointement par DESY [2], FERMILAB [3] et NDGF [4], et financé principalement par EMI (European Middleware Initiative). Concernant les caractéristiques techniques, dCache supporte plusieurs méthodes d’authentification comme les certificats utilisateur X509, Kerberos V, le couple login/mot de passe, etc. Différents protocoles d’accès aux fichiers sont disponibles : dCap (protocole natif), Xrootd, GridFTP, WebDAV ou encore NFSv41. SRM (Storage Resource Manager) fait partie intégrante de dCache et permet (entre autres) la négociation du protocole d’accès utilisé lors des transferts de fichiers. SRM ne devrait plus être utilisé que de manière marginale à moyen terme et devrait être remplacé par des mécanismes de fédération inter-sites de type Xrootd et/ou WebDAV. Il est possible d’interfacer dCache à un système de stockage de masse comme c’est le cas au CC-IN2P3 avec HPSS.
Pour surveiller le comportement de dCache et détecter le plus rapidement possible d’éventuels problèmes en amont, de nombreux outils de surveillance (monitoring) sont utilisés : scripts, page de monitoring dCache dédiée, sondes Nagios, outils développés au sein de chaque expérience, et enfin plus récemment l’analyseur de fichiers de logs ElasticSearch [5]. Tous ces outils permettent d’obtenir un taux de disponibilité et de fiabilité de l’ordre de 98% pour le service dCache.
Quelques chiffres enfin : l’instance dCache principale (nommée LCG) actuellement déployée au CC-IN2P3 supporte les expériences Atlas, CMS et LHCb. Elle est constituée d’environ 160 serveurs DELL reliés aux réseaux haut débit LHCOPN et LHCONE. La capacité globale de stockage est d’environ 8640 téraoctets et comporte actuellement un peu plus de 55 millions de fichiers, dont 91% pour la seule expérience Atlas. Une base de données PostgreSQL est utilisée pour stocker les métadonnées des fichiers et nécessite une attention particulière en termes de mémoire et de disques performants du fait de sa très forte sollicitation. En effet, cette instance est capable de supporter plus de 100 000 lectures ou écritures de fichiers par heure.
La deuxième instance dCache supporte des expériences non LHC et n’est constituée que de 6 serveurs DELL pour une capacité globale de près de 300 TB. Elle comporte actuellement environ 14 millions de fichiers. Cette instance nous est très utile pour préparer les mises à jour majeures du parc LCG.
Pour conclure, le système de stockage dCache est et restera un service central proposé par le CC-IN2P3 dans les prochaines années. Pour s’en convaincre, il est prévu une augmentation de la capacité de stockage disque de 40% d’ici 2018 correspondant à la fin du RUN 2 pour le LHC.
YVAN CALAS
