imprimer
n°29
Novembre
2014
JI2014 : une édition appréciée par ses participants

Les 9e Journées Informatique regroupant les informaticiens de l’IN2P3 et de l’IRFU se sont déroulées du 13 au 16 octobre 2014 au Grau du Roi, près de Montpellier. Cette rencontre bisannuelle permet aux professionnels de l’informatique de nos deux instituts de se rencontrer, de partager leur savoir faire et de débattre ensemble des futurs choix technologiques. La réussite assez unanimement reconnue de cette édition justifie d’adresser un grand bravo…

…au Comité de Programme de nous avoir concocté un programme aussi riche en termes de sujets abordés qu’en termes de média utilisés

Les différentes thématiques, abordées en session plénière ou en sessions parallèles, ont, comme d’habitude, mis en avant la variété des activités de notre communauté : ASR, online, offline, outils, infrastructure, évolution des technologies, sujets citoyens, ...

Côté média, outre les présentations traditionnelles de 20 minutes plutôt consacrées à des sujets généralistes, nous avons testé cette année les présentations éclair de 5 minutes, ce qui a permis d’avoir une vue synthétique sur de nombreux retours d’expérience.

Les tables rondes (virtualisation, messagerie et langages) ont permis de prendre le temps de discuter plus en profondeur de chacun de ces sujets.

Les ateliers optionnels (langage D, langage Go, MongoDB, Puppet) ont offert (...)

lire la suite

International

HPC et GPU au programme d’une visite à l’Université de Tel-Aviv

Le CC-IN2P3 a initié une collaboration avec l’Université de Tel-Aviv en 2011 qui s’est ensuite concrétisée en 2012 par la mise en place d’un Projet International de Collaboration Scientifique (PICS). C’est dans ce cadre que Gilles Grasseau ingénieur au LLR, Frédéric Suter, chercheur en informatique au CC-IN2P3 et Gaëlle Shifrin, responsable communication et partenariats au CC-IN2P3 se sont rendus sur place fin juin. L’objectif de cette mission était un partage d’expériences autour du calcul parallèle, en particulier autour de deux axes : l’utilisation de clusters HPC (équipés de réseau haute performance) d’une part, et de GPU, d’autre part, dans les domaines de l’astrophysique et de la physique des hautes énergies. Sous-jacente à ces axes se posait la question : quelle est la place du HPC en physique des hautes énergies ? L’utilisation du calcul parallèle ou vectoriel semble en tout cas être de plus en plus d’actualité. La présence de Gilles Grasseau, auteur avec David Chamont d’une étude visant à (...)

lire la suite

Stockage

Le système de stockage dCache au CC-IN2P3

Depuis une dizaine d’années, le Centre de Calcul de l’IN2P3 (CC-IN2P3) est un site de niveau 1 (Tier 1) au sein de la grille de calcul WLCG (Worldwide LHC Computing Grid). A ce titre, le CC-IN2P3 propose le système de stockage dCache [1] aux expériences du LHC (Atlas, CMS et LHCb). dCache est également proposé aux utilisateurs appartenant à d’autres expériences hors communauté "HEP" (High Energy Physics), comme par exemple HESS, CTA ou bien encore Biomed. Ce système de stockage est largement déployé à travers le monde, mais principalement en Europe et en Amérique du Nord. Mais qu’est-ce que dCache exactement ? dCache est un système de stockage de fichiers développé conjointement par DESY [2], FERMILAB [3] et NDGF [4], et financé principalement par EMI (European Middleware Initiative). Concernant les caractéristiques techniques, dCache supporte plusieurs méthodes d’authentification comme les certificats utilisateur X509, Kerberos V, le couple login/mot de passe, etc. Différents protocoles d’accès aux fichiers sont disponibles : dCap (protocole natif), Xrootd, GridFTP, (...)

lire la suite

Sécurité

Remctl et la délégation de privilèges au Centre de Calcul de l’IN2P3

Au CC-IN2P3 un grand nombre de systèmes et applications cohabitent. Pour faciliter la gestion de cette infrastructure complexe, il est nécessaire de déléguer des privilèges. Ceci n’est envisageable qu’en gérant finement quel utilisateur authentifié sera autorisé à passer telle commande, obtenant le résultat de façon sécurisée. Ces questions d’authentification, d’autorisation et d’intégrité des données transférées sont en passe d’être résolues au CC-IN2P3 avec le choix du logiciel remctl [1]. remctl est une application, écrite en C, de type client / serveur maintenue par Russ Allbery, sous license “BSD-like” [2]. Il possède des interfaces avec de nombreux langages : Java, PHP, Python, Ruby et Perl. remctl reste très simple, aussi bien dans son code, dans le déploiement et la configuration du serveur que dans l’utilisation du client. Il utilise le mécanisme Kerberos [3] de la GSS-API [4] pour assurer la confidentialité des échanges et l’authentification des utilisateurs. Par exemple : le (...)

lire la suite

Infrastructure

Le CC-IN2P3 traite 1 milliard d’événements techniques par jour

Journaux ou "logs" Une infrastructure comme celle du Centre de Calcul de l’IN2P3 comporte un grand nombre de serveurs, d’équipements réseau, d’appareillages électriques et climatiques afin de remplir sa mission de fournisseur d’infrastructure aux laboratoires et à la grille. Tous ces éléments génèrent un grand nombre de messages et d’informations techniques sur leur fonctionnement que l’on appelle respectivement journaux ("logs" en anglais) et métriques. Si l’on compte le nombre d’événements que produisent les 400 000 points de mesures, 2000 serveurs, 200 alimentations intelligentes, 50 climatiseurs et 10 onduleurs connectés, sans oublier le générateur, on arrive à près d’un milliard par jour. La nouvelle infrastructure de gestion d’événements qui est à l’étude depuis près d’un an permet de traiter de manière semi-automatique ce flux d’informations à destination des personnels techniques du CC-IN2P3. Elle permet de répondre efficacement et avec une faible latence aux pannes logicielles et matérielles qui se présentent. En outre, un certain (...)

lire la suite

Equipe

Directeur de la publication  : Alain FUCHS.
Responsables éditoriaux : Giovanni LAMANNA et Pierre-Etienne MACCHI.
Comité de rédaction : Virginie DELEBARRE DUTRUEL, Christian HELFT, Dirk HOFFMANN et Gaëlle SHIFRIN.

Agenda
Journée Open Scientific Data, 25 novembre - Orsay (Auditorium Pierre Lehmann LAL (bat 200) Campus)
Dans la vague du Big Data, le mouvement vers les données ouvertes s’accélère. Les communautés (...)

en savoir plus

Rencontres LCG-France, 1-2 décembre - IRFU Saclay
Le projet LCG-France souffle ses 10 bougies cette année et, toujours avec le même enthousiasme, (...)

en savoir plus

Stage de programmation Arduino, 21-23 janvier 2015 - Gif Sur Yvette
Pour ceux à qui le mot Arduino ne dit rien (et qui accusent aussi un certain âge !), on peut le (...)

en savoir plus

Rechercher
Abonnement
Pour vous abonner/désabonner, suivez ce lien.
Proposer un article
Vous souhaitez proposer un article ? Envoyez un mail à LettreInformatique@in2p3.fr.
logo CCIN2P3
© 2014 CCIN2P3
n°29
Novembre
2014
JI2014 : une édition appréciée par ses participants

Communauté

116 personnes ont assisté à l'édition 2014 des JI © Dirk Hoffmann (CPPM)

Les 9e Journées Informatique regroupant les informaticiens de l’IN2P3 et de l’IRFU se sont déroulées du 13 au 16 octobre 2014 au Grau du Roi, près de Montpellier. Cette rencontre bisannuelle permet aux professionnels de l’informatique de nos deux instituts de se rencontrer, de partager leur savoir faire et de débattre ensemble des futurs choix technologiques. La réussite assez unanimement reconnue de cette édition justifie d’adresser un grand bravo…

…au Comité de Programme de nous avoir concocté un programme aussi riche en termes de sujets abordés qu’en termes de média utilisés

Les différentes thématiques, abordées en session plénière ou en sessions parallèles, ont, comme d’habitude, mis en avant la variété des activités de notre communauté : ASR, online, offline, outils, infrastructure, évolution des technologies, sujets citoyens, ...

Côté média, outre les présentations traditionnelles de 20 minutes plutôt consacrées à des sujets généralistes, nous avons testé cette année les présentations éclair de 5 minutes, ce qui a permis d’avoir une vue synthétique sur de nombreux retours d’expérience.
Les tables rondes (virtualisation, messagerie et langages) ont permis de prendre le temps de discuter plus en profondeur de chacun de ces sujets.
Les ateliers optionnels (langage D, langage Go, MongoDB, Puppet) ont offert aux participants l’occasion de mettre les mains dans le cambouis pour mieux appréhender le sujet. Le choix de plus du tiers des participants de suivre ces ateliers montre à quel point cette formule a été appréciée et mérite d’être reconduite pour les JI à venir.
Les posters laboratoire ont donné une photographie de l’informatique de chaque entité, et d’autres posters papier ont permis de présenter certains retours d’expérience et de discuter avec les personnes concernées.
Les « posters dynamiques » (petites animations sans son) ont fait leur apparition pour la première fois aux JI et ont été diffusés en boucle dans la salle des posters. Plus d’une dizaine de participants se sont essayés, avec un certain succès, à cette nouvelle forme de communication.

Le programme s’est donc révélé particulièrement varié en sujets et en formats de présentation, ... ce qui avait demandé beaucoup de travail au Comité de Programme (23 visioconférences)... mais quel beau succès à l’arrivée !

…aux présentateurs et animateurs

Sur 116 inscrits, environ 80 intervenants se sont prêtés au jeu de la présentation (traditionnelle ou éclair) et/ou de l’animation (table ronde, atelier), preuve du dynamisme de notre communauté.
Chapeau particulièrement aux présentateurs des sessions éclair qui ont su extirper la substantifique moelle de leur travail en un temps réduit, mais jugé finalement très adapté par les auditeurs.
A l’ouverture, nous avons pu entendre les dernières nouvelles du Centre de Calcul de l’IN2P3, profiter du regard de deux de nos physiciens, et découvrir les travaux des deux chercheurs en informatique de l’IN2P3.
Grâce aux maîtres du temps, tout s’est déroulé en temps et en heure... avec un merci particulier à Christian Helft, coordinateur général, qui a organisé cette année ses dernières JI avant son départ à la retraite d’ici la 10e édition...

…à tous les participants

Comme l’ont souligné les nouveaux qui ont fait un retour sur leur première participation aux JI, nous (les 116 participants) avons montré une grande écoute et un grand intérêt pour tous les sujets proposés. Cela s’est traduit par de nombreuses questions, par une forte participation aux tables rondes et ateliers, et par une multitude de discussions hors session.

…au Comité Local d’Organisation

La Résidence de Camargue, choisie par le Comité Local d’Organisation après plusieurs visites dans la région, a permis de nous regrouper tous sur un même lieu, au bord de la mer. Merci à nos instituts d’avoir financé cet hébergement !
Le Comité Local a proposé deux événements sociaux qui ont permis à 40 personnes de découvrir les vins du pays et à 25 personnes les huiles d’olive de la région. Tous les participants des JI ont reçu en cadeau une petite bouteille d’huile d’olive d’une productrice gardoise.
Enfin, bravo et merci à Nicolas Clémentin, coordinateur du Comité Local, pour avoir répondu rapidement aux imprévus (je pense en particulier aux bombes anti moustiques).

….à l’équipe de webcast

Grâce à l’équipe qui a assuré la retransmission en direct et l’enregistrement de ces journées, tout un chacun est en mesure de voir et revoir une ou plusieurs présentations (vidéos) à l’adresse suivante : http://webcast.in2p3.fr/events-journees_informatique_in2p3_irfu_2014.
Les présentations (posters et diapos) sont sur : https://indico.in2p3.fr/event/9954/other-view?view=nicecompact.

En conclusion, merci à nous tous pour avoir fait de ces journées une manifestation enrichissante et rendez-vous en 2016 !

MICHELE SANGUILLON (membre du Comité Local d’Organisation)

n°29
Novembre
2014
"La responsabilité technique du projet LCG-France fait résonner en moi des mots comme écouter, comprendre, relayer, concilier, ajuster, faciliter et prévoir"

Catherine Biscarat, responsable technique de LCG-France

Pourriez-vous vous présenter en quelques mots ?

En quelques mots, je dirais en premier que je suis un "produit" de la Physique des Particules et que je suis très attachée à notre Institut, l’IN2P3. Je suis physicienne de formation mais j’ai très vite été intéressée par des aspects "computing". Mon implication a commencé par des développements de logiciels pour simuler des événements et j’ai aussi participé aux aspects opérationnels pour le traitement des événements sur des fermes de calcul distribuées dans le monde ; ceci sur l’expérience DØ auprès du collisionneur Tevatron, aux Etats-Unis, qui avait alors des données de collisions les plus énergétiques au monde ! C’est au Centre de Calcul de l’IN2P3 que je me suis impliquée dans la grille de calcul pour le LHC, en tant que co-responsable des opérations du T1 français pour ATLAS. Mes années au CC-IN2P3 correspondent à la dernière phase préparatoire du démarrage du LHC et elles ont été riches d’enseignements, tant sur les technologies que sur le vivier d’expertise dont regorge le CC-IN2P3. Avec mes collègues du CC-IN2P3, nous avons dû régler maints "détails" et cela n’a pas toujours été facile mais l’esprit de corps pour faire face aux défis et ce sentiment de résoudre des problèmes pour faire avancer la Science m’ont fait basculer complètement dans le monde de l’informatique. C’est ainsi qu’en 2011 j’ai rejoint le LPSC à Grenoble, un des sites T2 de LCG, où j’exerce la fonction d’ingénieur en informatique et je "baigne" dans les grilles depuis.

En quoi consiste votre nouveau rôle ? Comment l’envisagez-vous ?

Mon nouveau rôle consiste à coordonner l’implication de la France dans la collaboration WLCG qui regroupe les sites participants au calcul pour les quatre expériences du LHC (ALICE, ATLAS, CMS et LHCb) et les expériences elles-mêmes. Un des objectifs de LCG-France est de garantir la contribution de la France au niveau de 8 à 10% du calcul mondial. Pour cela, je suis en contact avec WLCG et l’ensemble des sites français (T1, T2 et T3) pour relayer les informations. Ceci concerne les aspects opérationnels du quotidien mais aussi les évolutions qui pourraient avoir un impact sur les activités des sites français sur un terme plus long. J’ai aussi un rôle de représentation vis-à-vis des instances techniques de WLCG et de nos tutelles. J’ai la responsabilité technique du projet, certes, mais chaque site est autonome et mon rôle consiste à faire le suivi, à favoriser les échanges entre les sites et avec les expériences et à animer la communauté dont je fais d’ailleurs partie depuis suffisamment longtemps pour savoir qu’une de ses richesses est justement le tissu très fort de compétences et de soutien qui s’est développé entre les sites. Je dois ajouter que le succès de notre communauté repose aussi sur l’excellence du réseau RENATER et la bonne collaboration que LCG-France, le CC-IN2P3 et RENATER ont su développer.

Sans parler du projet LCG-France lui-même, l’équipe dans laquelle je m’intègre est déjà bien rodée. Je pense en particulier à Fairouz Malek, responsable scientifique du projet, à Renaud Vernet, responsable du T1 français, et à Pierre-Etienne Macchi, directeur du CC-IN2P3, sans oublier Frédérique Chollet dont je prends la relève et qui est toujours disponible pour répondre aux questions que je lui adresse ! Cette équipe m’aide à appréhender les échéances du projet, comme par exemple l’estimation et l’annonce des ressources des sites dédiées au calcul LHC au niveau international en septembre, l’organisation des Rencontres bi-annuelles des sites dont la prochaine édition aura lieu en décembre, ou la prévision des budgets faite à l’automne.

La responsabilité technique du projet LCG-France fait résonner en moi des mots comme écouter, comprendre, relayer, concilier, ajuster, faciliter et prévoir. Je me rends compte qu’avec les projections des besoins du LHC et le contexte budgétaire actuel, des évolutions sont à prévoir mais j’ai confiance dans le réseau des ingénieurs et des physiciens impliqués à tous les niveaux dans le calcul pour le LHC pour trouver des solutions aux difficultés que nous pourrions rencontrer.

Y a t-il des évolutions prévues dans l’organisation de LCG ?

Oui, effectivement : LCG-France se renouvelle avec l’arrivée de Laurent Duflot, physicien au LAL, au 1er janvier comme responsable scientifique du projet. Nous nous sommes engagés à travailler ensemble à la tête de LCG-France pour les années à venir. Laurent et moi nous nous connaissons de longue date : nous avons déjà collaboré lorsque nous étions à Fermilab et que nous travaillions sur DØ ; lui comme coordinateur "software" et moi comme développeur et responsable "simulation" pour des groupes de physique, un enjeu majeur pour l’expérience à cette époque. Nous avons collaboré dans une dynamique constructive, très motivante et positive.

Je profite de cette question pour ajouter que du côté purement opérationnel, Jérôme Pansanel et moi-même avons aussi eu une réflexion concertée en acceptant simultanément nos rôles respectifs à la direction technique de France-Grilles et de celle de LCG-France. Ayant travaillé sur des projets communs au sein de France-Grilles, nous sommes enthousiastes à l’idée de renforcer la coopération entre les opérations de la NGI française et celles de LCG-France.

Quels sont vos projets pour LCG et quels seront les moments fort pour cette année ?

Cette année va être marquée par le démarrage du Run II du LHC qui est prévu au printemps 2015. On pourrait penser que ce démarrage est simplement la suite du Run I mais il n’en est rien. Fortes des enseignements du Run I, les expériences ont modifié leurs modèles de calcul et les sites doivent maintenant mettre en place les choix techniques retenus. Comme souvent la communication entre les expériences et les sites est primordiale et ces évolutions ont fait l’objet de discussions préalables au sein de WLCG. Certaines de ces évolutions sont directement liées à la physique. Par exemple, les conditions de prise de données du Run II du LHC seront plus complexes qu’au Run I. Il s’en suit une augmentation de la mémoire nécessaire pour traiter les événements alors que les architectures CPU actuelles ont la tendance inverse par coeur. Pour diminuer la consommation de mémoire par coeur, les expériences ont mis au point des algorithmes "multi-threadés" novateurs pour notre domaine et les sites doivent maintenant adapter leurs systèmes de batch. D’autres évolutions sont liées à la simplification des opérations en introduisant des protocoles "standard" plutôt que de développer des solutions spécifiques pour les expériences du LHC. Ces évolutions ont été planifiées et elles sont testées avec des données de simulation, mais l’arrivée des données de collision est toujours un moment fort et reste le test final de ces ajustements.

Nous avons maintenant une expérience de 10 ans de grille et le succès de la découverte du boson de Higgs a été le fruit d’efforts humains et opérationnels considérables. La simplification des services (et des opérations) est un des points qui me tiennent à coeur. Cette réflexion est en cours dans WLCG mais les changements qui vont être mis en place seront progressifs. N’oublions pas que la fonction première des sites est de fournir des services stables et fiables, sans interruption.

J’observe aussi actuellement des évolutions dans la façon dont les expériences envisagent les ressources et intègrent des concepts nouveaux. Je parle ici de calculs opportunistes allant des supercalculateurs avec des cycles vides jusqu’aux ordinateurs personnels dans le cadre du "volonteer computing", ou encore des "clouds" publics ou privés. Certaines expériences du LHC sont déjà avancées dans ces domaines. La grille que nous opérons permet de garantir la reconstruction et l’analyse des données du Run II et les évolutions citées ci-dessus ont le potentiel de fournir des ressources pour publier les résultats de physique plus rapidement et aussi, à plus long terme, d’apporter des solutions à la simplification des opérations de la grille LCG.

PROPOS RECUEILLIS PAR VIRGINIE DELEBARRE DUTRUEL

n°29
Novembre
2014
HPC et GPU au programme d’une visite à l’Université de Tel-Aviv
(De g. à dr.) Gilles Grasseau (LLR), Yan Benhammou (Univ. de Tel-Aviv) et Frédéric Suter (CC-IN2P3) © CC-IN2P3 / CNRS

Le CC-IN2P3 a initié une collaboration avec l’Université de Tel-Aviv en 2011 qui s’est ensuite concrétisée en 2012 par la mise en place d’un Projet International de Collaboration Scientifique (PICS). C’est dans ce cadre que Gilles Grasseau ingénieur au LLR, Frédéric Suter, chercheur en informatique au CC-IN2P3 et Gaëlle Shifrin, responsable communication et partenariats au CC-IN2P3 se sont rendus sur place fin juin.

L’objectif de cette mission était un partage d’expériences autour du calcul parallèle, en particulier autour de deux axes : l’utilisation de clusters HPC (équipés de réseau haute performance) d’une part, et de GPU, d’autre part, dans les domaines de l’astrophysique et de la physique des hautes énergies. Sous-jacente à ces axes se posait la question : quelle est la place du HPC en physique des hautes énergies ?

L’utilisation du calcul parallèle ou vectoriel semble en tout cas être de plus en plus d’actualité. La présence de Gilles Grasseau, auteur avec David Chamont d’une étude visant à recenser les activités liées au HPC au sein de l’IN2P3, a permis de cerner les différentes possibilités de collaboration avec les partenaires israéliens mais également d’évoquer la place du CC-IN2P3 dans l’offre de ressources HPC au sein de l’Institut.

A l’Université de Tel-Aviv, l’utilisation des GPUs par les astrophysiciens se fait au travers de logiciels de haut niveau (ex : Matlab/Mathematica). L’avantage principal est la simplicité d’utilisation par des non spécialistes de la programmation, mais l’inconvénient reste l’utilisation sous-optimale des ressources. Des discussions ont permis de faire émerger différentes solutions pour pallier cela. Parmi celles-ci, a été évoquée la possibilité de tirer profit de compilateurs évolués tels que ceux utilisant HMPP (Caps) ou OpenACC (PGI). Gilles Grasseau, qui dispose au LLR d’une licence du compilateur PGI, pourrait ainsi servir de point de contact expert pour les utilisateurs israéliens.

L’autre piste de collaboration était de trouver une application utilisée dans le domaine de la physique des hautes énergies pouvant bénéficier d’une parallélisation de type MPI + InfiniBand. Outre un bénéfice pour les utilisateurs, cela pourrait permettre au CC-IN2P3 de disposer d’un use case concret exploitant les ressources mises à disposition par DELL. Le CC-IN2P3 dispose en effet d’une plateforme technologique (mise en place dans la cadre d’un partenariat) dans laquelle on retrouve des GPUs et un cluster infiniband. Actuellement sous-exploitée, cette plateforme pourrait potentiellement intéresser certains utilisateurs de l’Institut.

Les discussions sur le sujet doivent se poursuivre car il s’est avéré difficile de trouver une application cible à paralléliser pouvant intéresser tous les participants de la collaboration. Les codes du LHC, dont ROOT qui fut l’une des applications évoquées, semblent trop complexes et trop imbriqués pour pouvoir être un bon use case. Il semble plus pertinent de trouver une expérience de moins grande envergure et l’objet de cet article est aussi de lancer un appel à témoins aux personnes intéressées. GaudiHive, également cité, pourrait s’avérer plus intéressant.

Enfin, l’organisation d’une Computing School par le RI3 sur le thème de la programmation hybride (incluant des sessions pratiques) a été envisagée pour 2015. Affaire à suivre donc.

GAELLE SHIFRIN et FREDERIC SUTER

n°29
Novembre
2014
Le système de stockage dCache au CC-IN2P3

Depuis une dizaine d’années, le Centre de Calcul de l’IN2P3 (CC-IN2P3) est un site de niveau 1 (Tier 1) au sein de la grille de calcul WLCG (Worldwide LHC Computing Grid). A ce titre, le CC-IN2P3 propose le système de stockage dCache [1] aux expériences du LHC (Atlas, CMS et LHCb). dCache est également proposé aux utilisateurs appartenant à d’autres expériences hors communauté "HEP" (High Energy Physics), comme par exemple HESS, CTA ou bien encore Biomed. Ce système de stockage est largement déployé à travers le monde, mais principalement en Europe et en Amérique du Nord.

Mais qu’est-ce que dCache exactement ? dCache est un système de stockage de fichiers développé conjointement par DESY [2], FERMILAB [3] et NDGF [4], et financé principalement par EMI (European Middleware Initiative). Concernant les caractéristiques techniques, dCache supporte plusieurs méthodes d’authentification comme les certificats utilisateur X509, Kerberos V, le couple login/mot de passe, etc. Différents protocoles d’accès aux fichiers sont disponibles : dCap (protocole natif), Xrootd, GridFTP, WebDAV ou encore NFSv41. SRM (Storage Resource Manager) fait partie intégrante de dCache et permet (entre autres) la négociation du protocole d’accès utilisé lors des transferts de fichiers. SRM ne devrait plus être utilisé que de manière marginale à moyen terme et devrait être remplacé par des mécanismes de fédération inter-sites de type Xrootd et/ou WebDAV. Il est possible d’interfacer dCache à un système de stockage de masse comme c’est le cas au CC-IN2P3 avec HPSS.

Pour surveiller le comportement de dCache et détecter le plus rapidement possible d’éventuels problèmes en amont, de nombreux outils de surveillance (monitoring) sont utilisés : scripts, page de monitoring dCache dédiée, sondes Nagios, outils développés au sein de chaque expérience, et enfin plus récemment l’analyseur de fichiers de logs ElasticSearch [5]. Tous ces outils permettent d’obtenir un taux de disponibilité et de fiabilité de l’ordre de 98% pour le service dCache.

Quelques chiffres enfin : l’instance dCache principale (nommée LCG) actuellement déployée au CC-IN2P3 supporte les expériences Atlas, CMS et LHCb. Elle est constituée d’environ 160 serveurs DELL reliés aux réseaux haut débit LHCOPN et LHCONE. La capacité globale de stockage est d’environ 8640 téraoctets et comporte actuellement un peu plus de 55 millions de fichiers, dont 91% pour la seule expérience Atlas. Une base de données PostgreSQL est utilisée pour stocker les métadonnées des fichiers et nécessite une attention particulière en termes de mémoire et de disques performants du fait de sa très forte sollicitation. En effet, cette instance est capable de supporter plus de 100 000 lectures ou écritures de fichiers par heure.

La deuxième instance dCache supporte des expériences non LHC et n’est constituée que de 6 serveurs DELL pour une capacité globale de près de 300 TB. Elle comporte actuellement environ 14 millions de fichiers. Cette instance nous est très utile pour préparer les mises à jour majeures du parc LCG.

Pour conclure, le système de stockage dCache est et restera un service central proposé par le CC-IN2P3 dans les prochaines années. Pour s’en convaincre, il est prévu une augmentation de la capacité de stockage disque de 40% d’ici 2018 correspondant à la fin du RUN 2 pour le LHC.

YVAN CALAS

[1] http://www.dcache.org/

[2] Deutsches Elektronen Synchrotron, Hambourg, Allemagne

[3] Fermi National Accelerator Laboratory, Batavia, USA

[4] Nordic Data Grid Facility

[5] http://www.elasticsearch.org/

n°29
Novembre
2014
Remctl et la délégation de privilèges au Centre de Calcul de l’IN2P3

Au CC-IN2P3 un grand nombre de systèmes et applications cohabitent. Pour faciliter la gestion de cette infrastructure complexe, il est nécessaire de déléguer des privilèges. Ceci n’est envisageable qu’en gérant finement quel utilisateur authentifié sera autorisé à passer telle commande, obtenant le résultat de façon sécurisée.

Ces questions d’authentification, d’autorisation et d’intégrité des données transférées sont en passe d’être résolues au CC-IN2P3 avec le choix du logiciel remctl [1].
remctl est une application, écrite en C, de type client / serveur maintenue par Russ Allbery, sous license “BSD-like” [2]. Il possède des interfaces avec de nombreux langages : Java, PHP, Python, Ruby et Perl. remctl reste très simple, aussi bien dans son code, dans le déploiement et la configuration du serveur que dans l’utilisation du client. Il utilise le mécanisme Kerberos [3] de la GSS-API [4] pour assurer la confidentialité des échanges et l’authentification des utilisateurs.

Par exemple : le responsable d’un groupe d’utilisateur doit fixer des quotas d’utilisation de service. La gestion de quotas demande des privilèges élevés que l’application ne permet pas d’attribuer à tout utilisateur. Ces privilèges seront mis temporairement à sa disposition par exécution sur un serveur central pour :

- authentifier l’utilisateur par la présentation d’un ticket Kerberos. Ceci permet de déléguer ces droits à un utilisateur, un processus ou une machine donnés,
- autoriser l’action : selon des critères variés allant de la présence de son nom dans un fichier de configuration à l’appartenance à un groupe, délais et heure d’expiration, paramètres valides, ...
- acquérir les privilèges nécessaires au fonctionnement,
- exécuter l’action,
- retourner de façon sécurisée le résultat.

Pour arriver à ce niveau de délégation, les administrateurs de services du CC-IN2P3 doivent fournir la commande et les paramètres autorisés. Ils précisent les ACL [5] de configuration du serveur : quel type d’utilisateur sera autorisé à passer cette commande, quelles options sont valides.
Les déploiements du serveur remctl et de son fichier de configuration sont effectués au CC-IN2P3 par puppet.

Remctl est un outil de choix pour les sites dont l’authentification repose sur Kerberos. Il permet au CC-IN2P3 l’abandon de ses anciens modes de délégation de privilèges pour adopter un système moderne et modulaire, en phase avec ses outils de déploiement de configuration.
Les développements initiés au CC-IN2P3 pour intégrer cet outil à son environnement profitent à tous : le module puppet remctl [6] est mis à disposition de la communauté. Il est devenu le module officiel remctl et est activement maintenu par Rémi Ferrand. De plus, Rémi est fortement impliqué dans le développement de remctl. Il a récemment fourni le nouveau type d’ACL “localgroup”, qui permet de filtrer les utilisateurs selon leur appartenance à des groupes (LDAP, NIS, etc...).

Compte tenu de sa simplicité, de la sécurité et de la flexibilité qu’il apporte, remctl est une excellente solution de délégation de privilèges distants qui trouve de nombreux cas d’utilisation au CC-IN2P3. La migration est en marche !

REMI FERRAND ET XAVIER CANEHAN

[1] http://www.eyrie.org/ eagle/softwar...

[2] https://github.com/rra/remctl/blob/...

[3] RFC-4120

[4] RFC-2743

[5] Access Control List

[6] https://forge.puppetlabs.com/ccin2p...

n°29
Novembre
2014
Le CC-IN2P3 traite 1 milliard d’événements techniques par jour

Journaux ou "logs"

Une infrastructure comme celle du Centre de Calcul de l’IN2P3 comporte un grand nombre de serveurs, d’équipements réseau, d’appareillages électriques et climatiques afin de remplir sa mission de fournisseur d’infrastructure aux laboratoires et à la grille. Tous ces éléments génèrent un grand nombre de messages et d’informations techniques sur leur fonctionnement que l’on appelle respectivement journaux ("logs" en anglais) et métriques. Si l’on compte le nombre d’événements que produisent les 400 000 points de mesures, 2000 serveurs, 200 alimentations intelligentes, 50 climatiseurs et 10 onduleurs connectés, sans oublier le générateur, on arrive à près d’un milliard par jour.

La nouvelle infrastructure de gestion d’événements qui est à l’étude depuis près d’un an permet de traiter de manière semi-automatique ce flux d’informations à destination des personnels techniques du CC-IN2P3. Elle permet de répondre efficacement et avec une faible latence aux pannes logicielles et matérielles qui se présentent. En outre, un certain nombre de journaux doivent être conservés légalement pendant un an.

Exemple : Un disque dur tombe en panne

Pour mieux comprendre la fonction du système, suivons le chemin d’un événement à travers la nouvelle infrastructure. Un disque dur système d’un serveur tombe en panne : l’électronique embarquée dans le composant notifie le pilote du noyau Linux qui gère le matériel correspondant. L’interruption génère un message qui est reçu par le logiciel de collecte des événements (rsyslogd) du serveur. Voici son contenu sous forme brute :

2014-05-30T14:34:53 node01 ata2.00 : exception Emask 0x0 SAct 0xffff SErr 0x0 action 0x0

L’événement est ensuite transféré sur un analyseur distant via le protocole syslog. L’événement est ensuite normalisé selon un paradigme commun afin de figurer dans un catalogue intelligible. C’est le composant patterndb du logiciel syslog-ng [1] qui s’occupe de cette tâche : il transforme les informations textuelles du message d’origine en structure de données. Chaque événement se voit assigner au moins cinq valeurs caractéristiques :

- l’horodatage précis
- le service caractérisant le composant
- son état de santé
- l’hôte dont il émane
- sa date de péremption.

Ces cinq couples valeurs fondamentales ont pour fonction notamment de permettre à l’opérateur humain de discerner clairement les symptômes de pannes éventuelles, et de classifier les flux d’événements. Voici la forme normalisée de notre événement disque :

"timestamp" : "2014-05-30T14:34:53", "host" : "node01", "service" : "kernel-drivers/ata-2.00", "state" : "warning", "ttl" : 300 "kernel" : "type" : "exception", "emask" : "0x0", "sact" : "0xffff", "serr" : "0x0", "action" : "0x0"

Et ensuite ?

L’étape suivante est le transfert conditionnel simultané vers d’autres systèmes de traitement adaptés : analyse synchrone, stockage et indexation, alerte, etc. Selon des règles prédéfinies, l’événement est acheminé vers un ou plusieurs de ces systèmes d’infrastructure.

Le système d’analyse synchrone, implémenté grâce au logiciel Riemann [2], reçoit pour sa part la totalité des événements. Il permettra à un opérateur humain de visualiser en temps-réel le flux d’événements, en affichant dans un navigateur web les événements selon des critères de recherche pertinents. La latence de ce genre de visualisation est très faible (de l’ordre de quelques millisecondes) et permet un temps de réaction très rapide. Il est notamment utilisé dans la control room du CC-IN2P3. L’événement de notre exemple y apparaîtrait typiquement en jaune (warning) :

La totalité des messages est également acheminée vers le logiciel Elasticsearch [3] qui permet de les enregistrer de manière semi-permanente. Ce moteur de recherche distribué permet d’indexer les données de manière très ciblée, et permet de trouver des incidents parmi des millions en une fraction de secondes. Il est livré avec une interface graphique très puissante (Kibana) qui permet à l’opérateur d’explorer les journaux de manière intuitive, et notamment de faire une analyse post-incident extrêmement efficace en remontant dans le temps. Dans la copie d’écran suivante, l’ensemble des connexions par ssh d’une journée (8 millions de journaux) est représenté sous forme géographique :

D’autres systèmes sont également consommateurs d’un sous-ensemble des événements traités par syslog-ng, il s’agit par exemple de la messagerie, et de Nagios [4] qui est le système central de gestion des alarmes au CC-IN2P3.

Et les métriques ?

400 000 métriques sont collectées par intervalles réguliers au CC-IN2P3 en utilisant collectd [5]. Des seuils prédéfinis sont appliqués et peuvent déclencher des alertes via le même mécanisme que décrit précédemment, en utilisant Riemann. La différence avec les logs réside dans le fait que c’est le logiciel rrdtool [6] qui se charge du stockage historique, par opposition à Elasticsearch pour les logs. Il est envisagé d’utiliser un stockage commun dans l’avenir. La copie d’écran suivante illustre le suivi temps-réel des données de performance d’un serveur virtuel via l’interface web riemann-dash [ 2 ] :

FABIEN WERNLI

[1] http://syslog-ng.org

[2] http://riemann.io

[3] http://elasticsearch.org

[4] http://www.nagios.org

[5] http://collectd.org

[6] http://oss.oetiker.ch/rrdtool

n°29
Novembre
2014
Journée Open Scientific Data, 25 novembre - Orsay (Auditorium Pierre Lehmann LAL (bat 200) Campus)

Dans la vague du Big Data, le mouvement vers les données ouvertes s’accélère. Les communautés scientifiques produisent depuis longtemps de grandes quantités de données. La nouveauté est qu’elles devront à court terme les rendre accessibles, interopérables et pérennes.

- Les contextes scientifiques et techniques sont ceux du Linked Open Data et du Web Sémantique. Les standards existent et les technologies connaissent un début de maturité. Mais construire et pérenniser de grands ensembles de données exploitables, en particulier dans une perspective pluri- ou inter- disciplinaire au delà d’une communauté restreinte reste un défi.
- Du point de vue institutionnel, la publication et la réutilisabilité des données de la recherche sont une exigence qui deviendra rapidement incontournable.

Le but de la journée est de présenter les questions scientifiques, les technologies disponibles et les démarches institutionnelles associées à ces défis, à travers des exposés d’experts. Elle vise aussi à mettre en relation des actions existantes qui participent au périmètre de l’Université Paris Saclay, et à explorer les voies qui peuvent mener à la création de services mutualisés avancés, sous la forme de démonstrations et de posters, ainsi que d’une table ronde. Enfin, cette journée sera l’occasion de présenter la plate-forme de partage de données que développe le Center for Data Science.

Cette journée est organisée par le Center for Data Science de l’Université Paris Saclay et l’Université Paris Sud

Programme

09:00 Introductions
Session Interopérabilité, Interdisciplinarité, Reproductibilité

09:30 Turn your "digital self" into a knowledge base.
Serge Abiteboul (INRIA et ENS-Cachan)

10:00 Open Linked Data et la plateforme de Data as a Service de CDS
Karima Rafes (INRIA et BorderCloud)

10:40 Reproductibilité : l’exemple d’Image Processing On Line (IPOL)
Rafael Grompone (CMLA), Ives Rey Otero (CMLA)

Session Identifier et valoriser les données

11:30 Les données de la recherche dans l’écosystème des publications scientifiques
Isabelle Blanc (INRA)

12:00 Services pour identifier et valoriser : l’enregistrement de données via DataCite
Herbert GRUTTEMEIER (INIST-CNRS)

12:30 Research Data Alliance
Patrick Cocquet (Délégué général Cap Digital)

Session Usages

14:00 Data Preservation@HEP
Jamie Shiers (CERN)

14:30 Démonstrations & Posters

16:00 Table ronde

Inscription

L’inscription est gratuite, mais obligatoire, pour l’organisation du déjeuner et des pauses, avant le 20 Novembre, sur http://indico.lal.in2p3.fr/e/OpenSc...

Rencontres LCG-France, 1-2 décembre - IRFU Saclay

Le projet LCG-France souffle ses 10 bougies cette année et, toujours avec le même enthousiasme, la communauté "calcul LHC" française va se rencontrer pour deux journées d’échanges. Ces journées regroupent les physiciens dans les expériences, les ingénieurs et les techniciens informatiques dans les sites pour discuter des nouveautés autour du calcul, du technique à l’infrastructure en passant par les logiciels et les modèles de calcul du futur, débattre des nouvelles problématiques, partager ou proposer des solutions communes à la communauté Française. Ces rencontres sont aussi l’occasion d’être ensemble et de maintenir les liens que tous les acteurs de LCG-France ont construits depuis plus de 10 ans dans le domaine de la grille de calcul.

Le site de ces rencontres : https://indico.in2p3.fr/event/10330/

Stage de programmation Arduino, 21-23 janvier 2015 - Gif Sur Yvette

Pour ceux à qui le mot Arduino ne dit rien (et qui accusent aussi un certain âge !), on peut le résumer comme le rêve du lecteur du "Haut-Parleur" (dans les années 70...) : une carte sur laquelle on peut enficher les capteurs les plus divers (le détecteur de proximité est un must, mais il en existe des millions tous plus funs les uns que les autres), mais surtout qui contient un processeur qu’on peut programmer très facilement (à la C). Couplé à un langage comme Processing, vous obtenez un "bac à sable" fascinant pour expérimenter comment votre aptitude à programmer (éventuellement enfouie sous un costume ASR) peut —enfin— avoir une réelle interaction avec le "vrai" monde.

Bref, Devlog et le réseau des électroniciens (RdE) vous invitent à "partager un moment de découverte" sur le campus CNRS de Gif Sur Yvette du 21 au 23 janvier 2015. Pour plus d’informations : http://devlog.cnrs.fr/programmation...

n°29
Novembre
2014
CDD : Administrateur de système d’information - CC-IN2P3 / CNRS

Formation : Diplôme supérieur en informatique
Type de contrat : Contrat à durée déterminé de 1 an, avec possibilité de renouvellement
Salaire : En fonction de l’expérience et de la qualification
Disponibilité : Poste à pourvoir à compter du 1er novembre 2014
Localisation : CC-IN2P3 - Campus de la Doua - 69100 Villeurbanne

Contexte

Le Centre de Calcul de l’IN2P3, met en œuvre pour la gestion de son infrastructure informatique une CMDB (Configuration Management DataBase). Nous recherchons dans ce cadre, une personne chargée de l’administration du progiciel.

Fonctions

L’administrateur de la CMDB assure la maîtrise d’œuvre de l’outil. Il définit et met en œuvre les procédures informatiques permettant l’administration et l’exploitation de la plateforme et en assure le suivi et la sécurité. L’outil choisi est CMDBuild.
Il travaille en relation avec le chef de projet afin d’implémenter le modèle de données.
Il travaille en relation avec les développeurs afin d’intégrer la mise en place des nouvelles versions.
Il met en place les plateformes de développement, de test et de déploiement. Il met en place des tests unitaires en fonctionnels. Il rédige les documents associés à ses activités. Il se sert de la documentation technique du produit pour résoudre les problèmes.

Qualifications requises

De formation supérieure en informatique (Bac +3 à Bac +5), vous souhaitez travailler dans un milieu dynamique, motivant et à la pointe de la technologie informatique.

Les compétences attendues sont :
- Excellente organisation
- Connaissance du fonctionnement d’une application Web et d’un serveur de bases de données associé.
- Connaissance du modèle relationnel.
- Connaissance d’un système type CMDB
- Anglais technique à l’écrit et à l’oral.

Les compétences suivantes seraient appréciées : Linux, PostgreSQL, Langage Java, XML

Dépôt des candidatures

Les candidats sont invités à soumettre leur CV ainsi que les lettres de motivation à job61@cc.in2p3.fr.
Les candidatures seront considérées jusqu’à ce que le poste soit pourvu. Les candidats retenus seront convoqués à un premier entretien dans les locaux du site.