Lettre Informatique

Equipe

Eric Legay — 2013-02-19T15:02:45Z

Responsables éditoriaux : Giovanni Lamanna et Pierre-Etienne Macchi
Comité de rédaction : Virginie Dutruel, Eric Legay, et Gaëlle Shifrin

Retour sur les JI 2012

Eric Legay — 2013-02-13T12:31:50Z

Les huitièmes Journées informatiques de l'IN2P3 et de l'IRFU ont eu lieu du 22 au 25 octobre 2012 à La Londe Les Maures dans le Var. Ces journées ont lieu tous les 2 ans. On y aborde tous les aspects du développement et mise en oeuvre de logiciel et d'utilisation de l'informatique dans la recherche en physique des particules, astroparticules et physique nucléaire. Elles sont un lieu de partage d'expérience et de rencontre de la communauté des informaticiens de l'IN2P3 et de l'IRFU : les nouveaux rencontrent les anciens, l'information, les idées circulent. On y discute de technique, mais aussi d'organisation, des difficultés de nos métiers, de nos échecs et de nos réussites.

Ces journées sont organisées par le RI3, sur initiative du CCRI. Cette édition doit beaucoup aux membres des comités d'organisation et de programmation. Un grand merci à :

Valérie Givaudan, présidente du comité de programmation, et toute son équipe,
Michel Ricard, président du comité d'organisation et toute son équipe.

Mais aussi, nous pouvons remercier :
tous les contributeurs qui ont présenté leur travail, ou réalisé un poster.
Tous les participants qui ont laissé tomber leur manip ou leur administration système, qui ont accepté de relever le nez du guidon pour venir rencontrer les collègues pendant quelques jours.

Les Journées Informatiques ont un site web : https://indico.in2p3.fr/conferenceD...) Toutes les présentations et le résumé des présentations sont en ligne.

Les JI2012 en chiffre

Les sujets étaient regroupés en 6 sessions (35 présentations)
retour d'expérience de nos laboratoires,
méthodes et outils,
calcul,
le cloud à l'IN2P3,
le on-line,
le réseau et la sécurité

La session d'ouverture présidée par le chargé de mission informatique Cristinel Diaconu a permis de faire connaître les principaux résultats des groupes de travail : (Windows, Sécurité, Qualité). Dominique Boutigny est venu donner les dernières nouvelles du CC-IN2P3 et Christian Helft a resitué le RI3 parmi les autres réseaux informatiques du CNRS.

Enfin, 2 séminaires animés par des chercheurs avaient pour sujet :
La découverte d'un nouveau boson au LHC (Fairouz Malek)
Poussières du pôle (Jean Duprat)

Nous avons eu 2 tables rondes :
la maîtrise de nos outils et de nos infrastructures (article à paraître)
Systèmes d'acquisition à l'IN2P3/IRFU (cf cet article)

Les JI2012 en quelques mots

Ces journées furent très denses : il y avait beaucoup de présentations, de posters, sur des sujets très variés et représentatifs de la diversité des activités et de l'expertise acquise dans nos laboratoires.

Ce que nous pouvons améliorer dans la prochaine édition :
il a manqué une session "posters",
nous aurions pu mieux harmoniser le niveau des présentations : certaines étaient un peu trop spécialisées et plus difficilement accessibles à la majorité.
à la fin de la journée, il était difficile de rester concentré tellement le programme était riche.

Les faits remarquables :
beaucoup ont enfin compris ce que c'est que le Cloud !!!
une bonne participation du public : beaucoup de questions étaient posées et la salle était pleine malgré le soleil et la plage tout près !
les 2 séminaires scientifiques étaient passionnants.

JI : Table ronde Online

Eric Legay — 2013-02-13T12:23:28Z

Lors des dernières journées informatiques, une table ronde a été organisée sur la thématique du Online pour nos expériences. Cette table ronde a réuni plus de 30 personnes représentant l'ensemble des laboratoires et de l'IRFU et couvrant ainsi toutes les thématiques des instituts.

Cette table ronde a été animée par S. Anvar, P.-Y. Duval, X. Grave, T. Le Flour et E. Legay.

3 sujets inégaux

Les discussions se sont organisées autour de trois points : le contrôle de l'électronique, le flot de données et les interactions avec les autres systèmes d'acquisition.

Autant la première question fut riche en avis et discussion, autant les deux autres points furent plus succinctement traités. L'ensemble des participants a rapidement convergé sur l'importance d'un format de données le plus léger possible, mais contenant un maximum de métadonnées permettant d'identifier les données simplement dans les différents outils ayant à traiter ou gérer ce flot de données. Le format de données MFM recommandé par l'ICC pour Spiral 2 a été cité plusieurs fois.

La discussion autour des interactions entre les systèmes d'acquisition a été encore plus simple : cette problématique ne concerne que le monde de la physique nucléaire. Le type de détecteurs utilisés en physique des particules et en astrophysique ne nécessite pas la souplesse que les systèmes d'acquisition pour les expériences de physique nucléaire doivent apporter.

Contrôle de l'électronique

Ce point fut celui amenant le plus de débats. La discussion est partie d'une remarque de S. Anvar sur l'adaptabilité des cartes électroniques au contexte : tests, banc d'essai, expériences … La question est, entre autre, de savoir comment on pourrait plus simplement prendre le contrôle d'une carte développée au sein de l'IN2P3/IRFU.

La notion de framework de développement permettant la montée en puissance d'un projet sans avoir à redévelopper de code a été mise en avant. Cela permet de gérer de l'électronique en développement et de fournir des outils aux électroniciens lors de cette première phase, ce même framework servant ensuite aux bancs de tests, puis aux expériences. Mais cela implique de penser, dès la première phase, aux contraintes finales d'utilisation des cartes.

L'architecture globale mise en place dans plusieurs laboratoires/expériences est composée de deux niveaux : une couche logicielle de gestion du hardware et une couche d'abstraction pour simplifier la gestion des cartes. Le premier niveau gère les accès au matériel électronique et fournit une interface se basant sur des standards vers le reste du système d'acquisitions. Le second niveau collecte les informations des éléments de premier niveau et propose des outils / interfaces pour les utilisateurs finaux. Nous savons faire cela, mais pour pouvoir offrir encore plus de souplesse, un de nos principaux problèmes est l'hétérogénéité des interfaces à contrôler. Ne serait-il pas possible au sein de l'IN2P3/IRFU de définir une interface minimale permettant de comprendre le fonctionnement d'une carte et ainsi d'effectuer le contrôle de cette carte plus simplement ?

Une évolution du métier

Les développeurs en physique des particules ont remarqué la simplification de leur travail, l'essentiel du contrôle et de l'intelligence étant embarqué sur les cartes numériques embarquant de nombreux processeurs. Avec la propagation du numérique et des processeurs généralistes embarqués (hard ou soft), la limite entre le firmware des électroniciens et le software des informaticiens se fait de plus en plus mince. Nous devrions discuter plus avec nos collègues électroniciens pour améliorer nos collaborations. Nous devons leur apporter la méthodologie en développement qui leur manque parfois, et améliorer notre connaissance des systèmes reprogrammable. En physique nucléaire, ce rapprochement des deux mondes est moins marqué. Cela est probablement dû à des expériences trop courtes pour permettre le développement de cartes dédiées, le software devant continuer à apporter la souplesse et l'adaptabilité d'une expérience à l'autre.

Cette table ronde, fructueuse, nous laisse avec beaucoup de questions sans réponses :
Faut-il définir un format de données type IN2P3 ou partager les connaissances sur ce sujet pour améliorer la gestion des données individuellement au sein de chaque expérience ?
Comment fournir des outils plus souple et plus tôt aux expériences ?
Comment travailler avec les électroniciens dans les collaborations sur les interfaces communes ?

A suivre donc.

Contrôle commande avec TANGO

Eric Legay — 2013-02-13T12:19:51Z

Workshop le 13 Mars 2013 au LAL.

Second Workshop sur le contrôle commande avec TANGO organisé par NEXEYA en collaboration avec le LAL.

Pour plus d'informations : Cliquez ici

Premières journées scientifiques mésocentres et France Grilles

Virginie Dutruel — 2013-02-07T15:52:47Z

France Grilles et le Groupe Calcul ont organisé pour la première fois en coordination les rencontres scientifiques et les journées annuelles des mésocentres à l'Institut de Physique du Globe de Paris. En 2011, les premières rencontres scientifiques France Grilles, co-localisée avec le EGI Technical Forum avaient eu lieu à Lyon la même semaine que les quatrièmes journées mésocentres qui se tenaient à Paris conduisant certains à devoir choisir entre ces deux événements. « Faisons mieux en 2012 ! » se sont dit le Groupe Calcul et France Grilles quelques semaines plus tard en décidant d'organiser de façon coordonnée les rencontres utilisateurs France Grilles et les Journées mésocentres du 1er au 3 octobre à l'IPGP à Paris.

Un appel à contributions lancé dans l'ensemble des communautés France Grilles et mésocentres a permis au comité de programme de constituer un panel d'exposés scientifiques ou techniques dans des domaines variés (Écologie et environnement, Physique des hautes énergies, Systèmes complexes, Sciences de la Terre, Outils informatiques...). Une partie des orateurs ont présenté des travaux réalisés par des entreprises privées ou en collaboration avec des entreprises privées. Deux demi-journées ont été consacrées à ces travaux sous forme de présentations orales, posters. Trois présentations orales ont fait l'objet d'une démonstration. Deux autres demi-journées ont été réservées aux présentations institutionnelles et prospectives. Plus de cent quarante personnes se sont inscrites à cet événement et la plus forte affluence a été constatée le mardi avec une centaine de personnes sur place. L'ensemble du programme a également été suivi en direct par de nombreux internautes (plus de 200 vues) et les enregistrements sont maintenant disponibles à la demande à partir du site des journées comme le sont également les articles, supports de présentations ou posters.

Le prix poster France Grilles a été décerné par le comité scientifique au poster « Instance nationale et multi-communauté de DIRAC pour France Grilles ».

Ces journées ont été très riches en opportunités de contacts entre utilisateurs grilles, cloud et mésocentres et fournisseurs de services au sein de ces infrastructures, très riches également en contenu scientifique comme en témoigne le programme. Le comité scientifique France Grilles et Genci ont émis le souhait d'être impliqués dans l'organisation de la prochaine édition.

Nous vous donnons rendez-vous à l'automne 2013 pour la prochaine édition !

Retrouvez :

Les journées scientifiques mésocentres et France Grilles à http://mesogrilles2012.sciencesconf.org/

France Grilles à http://www.france-grilles.fr

Le Groupe Calcul à http://calcul.math.cnrs.fr/

Ouvrage - Impacts écologiques des Technologies de l'Information et de la Communication : Les faces cachées de l'immatérialité

Virginie Dutruel — 2013-02-07T15:52:43Z

Les enjeux liés aux Green IT sont nombreux et nécessitent un changement de paradigme dans la conception, l'utilisation et le traitement de fin de vie des matériels informatiques.

Quelles sont les empreintes environnementales des technologies de l'information ? Quels outils faut-il utiliser pour quantifier ces empreintes ? Quels sont les facteurs à l'origine de ces impacts ?

Si ces questions vous intéressent, je vous invite à lire le livre "Impacts écologiques des Technologies de l'Information et de la Communication : Les faces cachées de l'immatérialité".

Ce livre est le fruit du travail de 8 membres du groupement de service du CNRS EcoInfo : Philippe BALIN, Françoise BERTHOUD, Amélie BOHAS, Carole CHARBUILLET, Eric DREZET, Jean-Daniel DUBOIS, Cédric GOSSART, Marianne PARRY.

En effet, compte tenu du foisonnement d'informations plus ou moins vérifiées qui circulent sur internet, il nous a paru important de faire un point à partir de données essentiellement (pas exclusivement) scientifiques sur les impacts de ces technologies.

Nous abordons dans un premier chapitre, tous les impacts directs : tant au niveau de l'épuisement des ressources que des problématiques de pollution et finalement la transformation des écosystèmes ainsi que les impacts connus sur le monde du vivant (dont l'Homme). Dans une deuxième partie, nous proposons une analyse des outils d'évaluation environnementale et en montrons les limites. Dans une troisième partie, nous présentons quelques études de cas puisées dans tout le cycle de vie de ces équipements et enfin, nous terminons l'ouvrage par une mise en perspective critique en pointant les facteurs comportementaux, organisationnels et les effets structurels dans notre société.

Préfacé par Lorenz Hilty, référence scientifique dans le domaine, cet ouvrage est destiné au public averti et scientifique et généralement à toutes les personnes qui souhaitent avoir une vision scientifique de la problématique.

Cet ouvrage de 224 pages est disponible en librairie au prix de 21€ TTC. Il est complété par un document de références bibliographiques accessible sur notre site web à partir de l'adresse : www.ecoinfo.cnrs.fr/impacts-TIC

Vous pouvez le commander chez votre libraire préféré ou sur le site de EDP Sciences (notre éditeur).

Cette thématique vient également de deux autres ouvrages :

Quels sont les impacts écologiques et environnementaux des tic ?

La version Novembre 2012 du 'Green to Greener Electronics' édité par GreenPeace.

Ouvrage - Cloud Computing : Data-Intensive Computing and Scheduling

Virginie Dutruel — 2013-02-07T15:52:38Z

Auteur(s) : Frédéric Magoulès ; Jie Pan ; Fei Teng Préface de Jacques Duysens Série : Chapman and Hall/CRC Press, Numerical Analysis and Scientific Computation Series Couverture cartonnée : 231 pages ISBN-10 : 1466507829, ISBN-13 : 978-1466507821

Le Cloud Computing est devenu un mot à la mode couramment utilisé dans le monde industriel et ses récentes avancées relayées par les médias. L'ouvrage Cloud Computing : Data-Intensive Computing and Scheduling, couvre les aspects de performance, d'efficacité et de gestion temps réel des données et des ressources. Il présente l'évolution des techniques classiques et introduit de nouvelles méthodes ainsi que des algorithmes innovants. Ce livre donne une définition claire des concepts, méthodes, algorithmes et logiciels utilisés en Cloud Computing.

Après une introduction générale du Cloud Computing, l'ouvrage traite du management des ressources et s'intéresse aux algorithmes d'ordonnancements des tâches en temps réel ainsi que les algorithmes de prévision et d'ajustement du prix des ressources. L'ouvrage aborde ensuite l'analyse des données et les accès à ces dernières (pré-calcul, indexation, partitionnement). Des applications avec MapReduce, un nouveau modèle de programmation parallèle, sont illustrées. Les auteurs s'intéressent alors à optimiser l'accès aux données et proposent des algorithmes originaux d'ordonnancements des tâches en temps réel, implémentés avec MapReduce. De nombreux exemples agrémentent l'ouvrage et aident le lecteur à mieux comprendre les diverses notions abordées.

http://www.crcpress.com/product/isb...

Journée des expériences au CC-IN2P3 : vers un arbitrage plus strict des demandes

Gaëlle Shifrin — 2013-02-07T14:50:58Z

La Journée des Expériences s'est tenue le 29 janvier dernier au Centre de Calcul de l'IN2P3. Cette journée, qui a lieu une fois par an, réunit l'ensemble des représentants des expériences utilisatrices des ressources du Centre de Calcul.

Ouverte à l'ensemble de la communauté des utilisateurs, la Journée des Expériences est l'occasion d'échanges entre les équipes du Centre de Calcul et la communauté pour améliorer le service fourni mais aussi son usage.

Les difficultés budgétaires actuelles ont été présentées par Pierre-Etienne Macchi, nouveau directeur du CC-IN2P3 depuis janvier. Cela va se traduire par une nouvelle année sans croissance des ressources et un arbitrage plus fort des demandes pour 2013. Laurent Serin, Directeur Adjoint Scientifique en charge de la Physique des Particules et du Calcul à l'IN2P3, et Giovanni Lamanna, chargé de mission pour l'informatique à l'IN2P3, proposent, avec Pierre-Etienne Macchi, que pour les gros consommateurs notamment, une programmation des besoins soit définie sur 4 ans et que le calcul soit inclus dans les appels à projets. Cela permettrait de mieux programmer les investissements et de diversifier les ressources budgétaires.

Après un bilan de l'utilisation du CC-IN2P3 présenté par Ghita Rahal responsable du groupe Support, Jean- Yves Nief, chargé de l'équipe Stockage, a passé en revue les différents systèmes proposés par le Centre et les possibilités qu'ils offrent pour les données des expériences. Autre sujet à l'attention des utilisateurs, les moyens mis en œuvre pour l'optimisation de l'utilisation de la ferme de calcul. Nadia Lajili, de l'équipe Exploitation, a ainsi donné quelques conseils pour gérer au mieux les jobs soumis. Enfin, Yonny Cardenas, de l'équipe Support, a présenté le concept des jobs pilotes qui permettent une meilleur utilisation des grilles de calcul.

Cette année, les activités non LHC ont été mises en avant lors de cette journée. Une présentation de Pierre-Yves Jallud a donné une vue d'ensemble de l'infrastructure numérique du TGE Adonis dont la mission principale est d'assurer l'accès et la préservation des données numériques produites par les sciences humaines et sociales. Professeur à l'UCBL, Michaël Beuve a, quant à lui, parlé des simulations lancées sur la ferme du CC-IN2P3 pour modéliser les systèmes d'imageries et les interactions ions-molécules dans le cadre de l'hadronthérapie par carbone. Une dernière session concernant Planck a malheureusement dû être annulée.

2012 a été une année très importante en résultats pour le LHC, celui-ci n'a pas été oublié. Fairouz Malek, responsable scientifique de LCG-France, a présenté les besoins en calcul des quatre expériences LHC au niveau français. L'arrêt du collisionneur pour 2 ans à partir de mi-février ne signifie pas un arrêt du calcul de ses expériences au CC, bien au contraire.

Vous pouvez retrouver les présentations de cette journée à l'adresse https://indico.in2p3.fr/conferenceT... (mot de passe : re2013).

Pierre-Etienne Macchi, nouveau directeur du Centre de Calcul de l'IN2P3

Virginie Dutruel — 2013-02-07T14:48:35Z

En sortant de l'école d'ingénieur de l'Institut des Sciences et Techniques de Grenoble – Université Joseph Fourier –, un diplôme en Informatique Industrielle et Instrumentation en poche, Pierre-Etienne Macchi a rapidement rejoint l'IN2P3. Tout d'abord aux Services Centraux, en tant que Chef de Projet Logiciel, puis Chef du Service Informatique et Administration Générale, c'est en 2000 qu'il a intégré le CC-IN2P3. Chef de Projet Bases de Données et Services Web, responsable du Service Systèmes d'Information et de Communication puis responsable du Service Développement, il devient directeur adjoint à l'automne 2010. Son évolution de carrière le mène à présent au poste de directeur du Centre de Calcul de l'IN2P3.

Après cette expérience et ce parcours au sein de l'IN2P3 et du CC, comment envisages-tu ton nouveau rôle de directeur ?

Bien qu'ayant une expérience je pense significative dans le management des équipes informatiques et de l'administration d'une unité, la direction d'une unité est une fonction qui s'apprend. Il y aura de facto une période de mise en place et d'ajustements. Une structure de management est intimement liée aux personnes qui la mette en place. J'ai participé à la mise en place de la structure actuelle : il serait donc étrange de vouloir tout changer dès le début. Je rentre dans une période de mon activité professionnelle où quelles que soient les décisions que je vais prendre elles ne feront jamais l'unanimité. Il faut apprendre à fonctionner avec ce nouveau paramètre avant de penser à modifier (ou pas) le fonctionnement de l'unité.

Quels sont tes projets pour le CC-IN2P3 et quels seront les moments forts pour cette année ?

Les situations RH et financière sont difficiles et complexes. Plusieurs obstacles se trouvent devant nous pour garder et faire fructifier notre niveau de compétence et ainsi consolider le rôle central du CC. Les effets des restrictions budgétaires font qu'il est moins facile de mettre en place les technologies dont ont besoin nos usagers. Il nous faut faire aussi bien (voire mieux) en étant plus inventifs, plus rigoureux et vraisemblablement moins absolutistes. Le contexte financier et la politique de l'organisme vont nous contraindre à revoir notre politique RH et notre rapport aux contrats à durée déterminée. C'est une mutation majeure qui s'annonce. 2013 s'annonce comme une année charnière : le contexte a définitivement changé il faut nous y adapter et modifier nos pratiques.

Une touche personnelle que tu souhaites particulièrement apporter ?

Je souhaite vivement que les agents passent activement ma porte : l'échange informel autour de leur perception des choses est très important. Ce contact direct est complémentaire aux avis que peuvent émettre les comités internes (Conseils de Laboratoire, etc…). Le dialogue est important.

Comment envisages-tu les relations du Centre de Calcul avec l'extérieur et notamment l'IN2P3 ?

Nos relations avec l'extérieur sont de plusieurs ordres. Elles doivent tout d'abord s'orienter vers les expériences qui utilisent ou souhaitent utiliser nos infrastructures. Il nous faut trouver les moyens de participer avec eux à une définition plus précoce de leur besoin afin d'être en mesure d'apporter la bonne réponse au bon moment.

Nos efforts doivent également porter vers l'Institut et ses laboratoires auprès desquels je souhaite un dialogue plus actif. Si nous pouvons leur apporter notre expérience sur le fonctionnement d'un centre de calcul, a contrario nous pouvons apprendre d'eux : ne serait-ce que par le fait qu'ils sont au plus proche de la recherche menée dans notre institut. Le contexte est le même pour tous et nous pouvons sans aucun doute trouver des voies communes pour l'affronter.

Enfin, ces relations sont discutées et coordonnées à trois : à trois : entre le Directeur Adjoint Scientifique en charge de la Physique des Particules et du Calcul à l'IN2P3 (L. Serin), le chargé de mission pour l'informatique à l'IN2P3 (G. Lamanna) et le directeur du CC-IN2P3.

IHEP et IN2P3 : une collaboration étroite et durable sous l'égide de Fabio Hernandez

Gaëlle Shifrin — 2013-02-07T13:18:13Z

Les collaborations dans le domaine de la recherche en physique des particules et des technologies associées entre des acteurs français et chinois datent de nombreuses années. Elles ont été placées dans un cadre institutionnel avec la création en 2007 d'une structure conjointe sous la forme d'un laboratoire international associé (LIA) en physique de particules. Le FCPPL (France China Particle Physics Laboratory) réunit l'IN2P3/CNRS, le CEA/Irfu et des universités françaises avec leurs homologues chinois.

Dans ce contexte et avec le soutien du Ministère des affaires étrangères et européennes, j'ai eu le privilège de rejoindre l'équipe du Service pour la science et la technologie de l'Ambassade de France en Chine à partir l'été 2010. La mission qui m'a été confiée était de renforcer la collaboration dans le domaine du traitement de données pour les activités de recherche d'intérêt pour les partenaires du FCPPL en général, avec un accent particulier sur les expériences auprès du LHC. Avec ma double localisation géographique à la fois au centre de calcul de l'Institut de Physique de Hautes Energies (IHEP) et à l'Ambassade de France à Pékin, j'ai eu l'opportunité de contribuer aux activités de promotion de la recherche et de la technologie françaises en Chine, d'une façon générale et plus particulièrement de travailler sur le terrain auprès des ingénieurs de IHEP pour le support au quotidien des expériences.

Le CC-IN2P3 et le centre de calcul de IHEP se connaissent depuis longtemps. Leur missions, organisation et activités sont comparables. En plus de servir des expériences nationales, le centre de calcul de IHEP est impliqué dans des expériences internationales dans lesquelles la France est également un acteur important, telles ATLAS et CMS. IHEP opère un centre de traitement de niveau 2 de la grille LCG pour chacune de ces deux expériences et des échanges des données entre la France et la Chine sont une activité quotidienne.

Dès mon arrivée à IHEP, j'ai eu l'occasion de contribuer à plusieurs projets. Comme le CC-IN2P3 peu d'années auparavant, le centre de calcul de IHEP était sur le point de lancer un projet de modernisation de l'infrastructure électrique et climatique de sa salle machine. Cette mise à jour était motivée par la croissance rapide prévisible des besoins en équipement informatique et l'impossibilité de l'accueillir sans une augmentation de la capacité de son infrastructure. Avec l'aide de plusieurs experts nous avons fait un retour d'expérience sur le projet comparable mené par le CC-IN2P3 avec succès. Ce partage d'information très pertinent et opportun a été très apprécié par les responsables du projet à IHEP. Depuis l'été 2012, l'augmentation de la capacité d'alimentation électrique et de refroidissement de la salle machine à IHEP est effective et les nouveaux équipements sont complètement opérationnels.

Côté purement informatique, nous avons mené plusieurs actions. Conjointement avec des experts du CC-IN2P3, nous avons démarré fin 2011 un projet visant à comprendre l'origine des limitations observées dans le lien réseau entre IHEP et le CC-IN2P3 et qui pénalisaient le transfert des données des expériences. Plusieurs campagnes de tests de débit réseau ont été effectuées. Des mécanismes de surveillance permanente du lien entre IHEP et tous les centres européens de niveau 1 de la grille LCG ont été mis en place. Des études détaillées de tous les segments du chemin emprunté par les données lors du transfert entre IHEP et CC-IN2P3 ont été menées. Des améliorations progressives ont été apportées au fur et à mesure de notre compréhension de l'origine des limitations.

Après une première amélioration du débit dans le sens IHEP vers CC-IN2P3 d'un facteur 100 cette campagne de travaux s'est terminée par l'augmentation récente de la bande passante du lien transcontinental entre Pékin et Londres pour atteindre 5Gbps. Cette capacité supplémentaire étend les possibilités d'échange de données entres les deux centres et va sans doute bénéficier les expériences.

Les actions ne se limitent au CC-IN2P3. L'équipe du projet DIRAC du CPPM a accueilli un doctorant chinois pour un séjour pendant 12 mois, financé par une agence gouvernementale chinoise. L'objectif était d'explorer l'intégration de DIRAC et des plates-formes de calcul distribué basées sur le principe du calcul volontaire (ou volunteer computing) basées sur BOINC. Des résultats intéressants ont été obtenus et un deuxième doctorant va rejoindre l'équipe DIRAC à Marseille pour continuer ce travail dans les prochains mois.

Au même moment, DIRAC a été sélectionné comme l'outil de gestion des travaux et des données au cœur de l'infrastructure distribuée de traitements de données de l'expérience BES-III, auprès du collisionneur localisé sur le campus de IHEP. Cette grille, actuellement en cours de déploiement, va permettre à terme la mise en commun de ressources informatiques des plusieurs universités et laboratoires de recherche en Chine, en Russie, en Allemagne et aux Etats Unis participant à l'expérience.

Le premier objectif de la grille BES-III est de décentraliser la production de données de simulation, actuellement presque exclusivement réalisée à IHEP. Pour ce projet, j'ai été invité à coordonner l'équipe en charge de l'architecture de stockage centralisé et du catalogage des données produites par tous les sites participant à l'expérience. Les travaux de mise en œuvre sont en cours et devraient permettre de désengorger le centre de calcul de IHEP en réorientant sa puissance de calcul vers l'activité d'analyse de données.

En plus des grosses expériences, nous avons aussi œuvré pour faciliter l'usage des ressources de calcul par les expériences à effectifs réduits. En profitant de la voie tracée lors de la mise en place d'une grille de calcul reliant le CC-IN2P3 et des centres de calcul de KISTI en Corée et de KEK au Japon et avec l'intervention opportune des experts français, IHEP a pu être configuré pour rejoindre cette plate-forme franco-asiatique de calcul distribué.

Le but de cet effort initié dans le cadre des laboratoires internationaux de physique de particules entre la France et la Corée (FKPPL) et la France et le Japon (FJPPL) est de baisser significativement les barrières à l'entrée pour l'usage des infrastructures de grille, en particulier pour les expériences qui ne disposent pas d'experts dédiés à l'informatique. Ainsi, les utilisateurs de l'organisation virtuelle France-Asia ont désormais la possibilité d'utiliser les ressources de calcul de IHEP pour leurs travaux. L'instance de DIRAC opérée par le CC-IN2P3 pour le compte de France-Grilles donne à ces expériences la possibilité d'exploiter les capacités de calcul que leur offrent le CC-IN2P3 et les 3 sites asiatiques cités.

C'est le cas par exemple de l'expérience franco-chinoise TREND (Tianshan Radio Experiment for Neutrino Detection) dont le site d'acquisition de données est situé dans la province du Xinjiang, à l'extrême ouest de la Chine. Les données sont transportées en disque amovible jusqu'à IHEP à Pékin pour être par la suite transférées, référencées et stockées de façon permanente au CC-IN2P3.

Toutes les phases du traitement des données TREND ont été historiquement réalisées au CC-IN2P3. Néanmoins, l'expérience est en cours de transition vers l'utilisation de la grille, en particulier pour la production de données de simulation. L'existence de l'organisation virtuelle France-Asia a rendu plus attractive cette transition qui va à terme étendre les possibilités de traitement de données de TREND.

J'ai eu également l'opportunité de conduire des projets d'exploration technologique. Nous avons développé un prototype fonctionnel d'un système de stockage de fichiers en s'appuyant sur le modèle du cloud computing et compatible avec le protocole Amazon S3. Ce développement exploite les possibilités offertes par les bases de données non structurées (connues collectivement sous le nom NoSQL) pour le stockage des métadonnées. Les résultats préliminaires de ces travaux ont été publiés et présentés à l'occasion des séminaires et rencontres en Chine.

Lors d'une de ces rencontres, l'un des trois opérateurs télécom nationaux en Chine a exprimé son intérêt pour ce projet, en particulier sur le volet stockage des métadonnées. En effet, il s'apprête à commercialiser un service de stockage de fichiers pour les centaines de millions de clients abonnés à ses services de téléphonie fixe et mobile. Un travail de collaboration dans ce domaine avec IHEP pourrait être mis en place et depuis plusieurs rencontres ont eu lieu à ce sujet.

Dans le même volet de stockage à distance, la société chinoise Huawei, l'un des équipementiers télécom les plus importants au niveau mondial, a mis à disposition de IHEP une machine de stockage conçue spécifiquement pour implémenter nativement le protocole S3. Nous menons actuellement un projet de qualification de cette machine afin de déterminer sa faisabilité de bâtir un service de stockage à distance destiné aux expériences et aux individus utilisant les services du centre de calcul de IHEP. Une machine du même type est en cours de test au Openlab du CERN et des tests de réplication de fichiers entre Genève et Pékin sont programmés.

Par ailleurs, ma contribution sous forme de code source C++ a été acceptée par l'équipe ROOT du CERN. Elle permet d'améliorer le support du protocole S3 pour tous les utilisateurs de ce logiciel. D'autres améliorations dans ce sens sont déjà planifiées. L'expérience acquise lors de ces projets nous sera très certainement utile pour la mise en place des infrastructures de stockage pour les expériences à venir.

En nous appuyant sur l'expérience acquise sur les bases de données non structurées, nous avons entrepris un projet d'évaluation de cette technologie pour le stockage de données d'utilisation des ressources gérées par DIRAC. Sous ma co-supervision et en travail étroit avec l'équipe DIRAC, un étudiant fait un travail exploratoire de ce type d'outils pour l'analyse d'utilisation des ressources faite à travers DIRAC, à des fins de comptabilité et d'identification de tendances.

Les sujets de collaboration dans le domaine de l'informatique entre IHEP et l'IN2P3 sont donc multiples et les actions menées commencent à porter leurs fruits. Par ces échanges de personnes et à travers des sujets de travail d'intérêt commun, nous entendons établir un environnement durable de coopération bénéfique pour les deux organismes.