À Saclay, mutualiser les machines de calcul pour aller plus loin ensemble

Institutionnel

Depuis 2017, CentraleSupélec, l’ENS Paris-Saclay et l’université Paris-Saclay ont mutualisé leurs forces pour acheter et faire héberger à l’Institut du développement et des ressources en informatique scientifique du CNRS une machine de calcul. Une manière de réduire l’empreinte environnementale et les coûts financiers des centres de données tout en favorisant les synergies entre laboratoires.

Entre 6 et 10 % de la consommation mondiale d’électricité, soit près de 4 % de nos émissions de gaz à effet de serre, avec une augmentation de 5 à 7 % par an : l’impact environnemental de l’économie numérique ne cesse de croître. Lieux centraux dans la conservation des milliards de données produites chaque seconde, les centres de données – ou datacentres – représentent eux-mêmes une bonne part de la consommation énergétique du secteur.

Alors que les calculs informatiques à des fins scientifiques se multiplient, des acteurs de la recherche sur le plateau de Saclay ont mis en œuvre, depuis presque une décennie, une solution pratique pour limiter les budgets de fonctionnement et l’impact environnemental de leurs machines de calcul : les mutualiser au sein de l’Institut du développement et des ressources en informatique scientifique (Idris) du CNRS.

 

Quand trois partenaires unissent leurs forces

Tout commence sur ce plateau au sud-ouest de l’Île-de-France dans la première partie des années 2010, par une conjecture de plusieurs événements. À Cachan, le Laboratoire de mécanique et technologie (LMT)1 et, à Châtenay-Malabry, le Laboratoire mécanique des sols, structures et matériaux (MSSMat)2 , ont l’habitude d’utiliser conjointement des mésocentres3 installés dans leurs locaux et reliés par un réseau rapide. Ils décident d’unir leurs forces en prévision de leur projet de fusion – qui aboutira à la création du Laboratoire de mécanique Paris-Saclay (LMPS)4 – et du futur déménagement de l’ENS à Saclay pour s’orienter vers l’achat commun d’une nouvelle machine de calcul. Au même moment, à Châtenay-Malabry, deux laboratoires de l’École Centrale Paris, MSSMat et le Laboratoire énergétique moléculaire et macroscopique, combustion (EM2C) réfléchissent à l’achat d’une première machine de calcul au moment de la fusion de Centrale Paris et de Supélec. Sous l’impulsion de ces trois laboratoires, CentraleSupélec et l’ENS Paris-Saclay, entretemps devenus voisins, déposent et obtiennent une demande de financement dans le cadre du Contrat Plan État-Région 2015-2020. De là naît une première machine de calcul conjointe aux deux institutions : Fusion. Plutôt que construire à Châtenay-Malabry une salle sur mesure pour l’héberger, les deux établissements se tournent alors vers un troisième : le CNRS, via l’Idris, déjà bien connu de la communauté informatique.

Denis Girou, alors directeur de l’Idris, se rappelle l’effervescence institutionnelle qui entourait un tel projet au moment de sa présentation en 2013 : « Le contexte national était extrêmement favorable à ce type de partenariat, le ministère étant décidé à endiguer la multiplication anarchique des salles d’hébergement informatique de l’enseignement supérieur et de la recherche qui présentaient pour la plupart de mauvaises conditions techniques, et de ce fait à pousser très fortement les opérations de mutualisation ». En parallèle, la présidence du CNRS poussait ses unités à « s’intégrer dans l'écosystème régional, et donc en l'occurrence l'université Paris-Saclay en cours de constitution ». C’est ainsi que début 2017, après quatre ans de négociations tripartites, a été signée une convention entre les trois institutions et que le 23 février de cette année, Fusion a été officiellement inaugurée. Ruche, une nouvelle machine, plus puissante que la précédente et elle aussi soutenue par la Région, la remplacera quatre ans plus tard. Entre temps, la plateforme mutualisée Fusion/Ruche – à laquelle s’adjoignent les plateformes Saclay IA et Cloud@Virtual Data – est devenue le mésocentre Paris-Saclay au sein de l’université du même nom.

La mutualisation a rapidement démontré ses bénéfices aussi bien économiques qu’énergétiques. L’Idris est en effet réputé pour son écoresponsabilité, récemment illustrée par la récupération de la chaleur fatale de son supercalculateur Jean Zay pour chauffer l’équivalent de mille logements neufs. Pierre-François Lavallée, son actuel directeur, s’enorgueillit d’un « Power Usage Effectiveness5 de 1.28 quand les salles machines des laboratoires en affichent souvent un de 1.8, voire 2 ». En pratique, « si ces équipements étaient ailleurs qu’à l’Idris, leur consommation électrique augmenterait de 40 % ». Dans ces conditions, l’hébergement de Fusion puis de Ruche à l’Idris a bien vite allégé le budget des laboratoires associés. Rien qu’au LMPS, « le coût de l’hébergement a été divisé par trois », s’étonne encore son directeur Pierre-Alain Boucard, professeur à l’ENS Paris-Saclay et responsable scientifique du mésocentre pour l’ENS. Celui-ci vante en outre la « gestion intelligente de l’énergie », illustrée par l’extinction automatique par le gestionnaire de travaux des ressources non utilisées, rallumées lors des demandes de calcul. Celle-ci a été particulièrement utile à l’hiver 2022, lors de la flambée des prix de l’électricité. Surtout, le calculateur mutualisé voit son usage optimisé par les laboratoires qui y ont recours, ce qui est essentiel étant donné le coût environnemental de sa fabrication, qui pèse pour les trois quarts de son empreinte carbone : alors qu’une machine de calcul dans un laboratoire reste souvent sous-utilisée, Ruche affiche un taux de charge de 60 à 70 % de ses capacités.

 

La machine de calcul Ruche
La machine de calcul Ruche. ® Rafael Medeiros / Idris

 

« Un mésocentre, ce n’est pas que du matériel »

Au-delà des économies d’échelle réalisées, la mutualisation de machines de calcul à l’Idris a généré des effets bénéfiques pour les communautés scientifiques elles-mêmes. Ceux-ci se sont tout d’abord fait sentir sur les conditions de travail. La maîtrise de la consommation énergétique de l’Idris s’explique en effet pour partie par la robustesse de son infrastructure électrique : deux lignes électriques, des onduleurs, des batteries et un groupe électrogène préviennent les coupures et des bombonnes d’eau froide sont à disposition pour arrêter le matériel de manière optimale en cas d’incident. Pierre-François Lavallée se réjouit ainsi de « faire bénéficier à tous les partenaires le niveau de résilience très élevé du centre national » qu’est son unité. Une résilience qui n’est pas seulement d’ordre matériel, mais également humain. Anne-Sophie Mouronval en sait quelque chose. Cette ingénieure de recherche travaille depuis vingt ans d’abord au MSSMat puis au LMPS et a connu tous les processus de fusion et mutualisation au sein du laboratoire. Seule pendant longtemps, elle consacre désormais le tiers de son temps pour assurer, aux côtés de huit autres ingénieurs issus tant de l’ENS Paris-Saclay, de CentraleSupélec, de l’université Paris-Saclay que de la Maison de la Simulation – qui, à la fin de vie de son propre calculateur, déjà hébergé à l’Idris, a préféré contribuer à l’extension de Ruche plutôt que construire une nouvelle machine en propre –, le support technique aux utilisateurs de Ruche, quel que soit leur rattachement institutionnel. En plus de « l’environnement optimal pour des machines de calcul » que procure l’Idris, le nombre et la diversité des profils d’ingénieurs l’émeuvent : « La force de notre mutualisation, c’est la richesse des compétences de l’équipe support, capable d’accompagner les usagers aussi bien sur des simulations utilisant l'intelligence artificielle que sur du calcul haute performance (HPC)6 ».

Cette diversité traduit à quel point la mutualisation a mis en synergie une myriade de laboratoires. Si certains, habitués au calcul informatique, s’y sont plongés dès les débuts de Fusion, d’autres, plus petits et moins coutumiers de ces pratiques de recherche – à l’instar de certaines unités de sciences humaines et sociales –, ont fini par intégrer le mésocentre. Après une petite décennie d’existence du centre, Pierre-Alain Boucard y admire sa « diversité des usages et des cultures scientifiques, qui invite à échanger ensemble pour faire évoluer les mentalités et les pratiques et faire tourner les calculs pour que la machine soit utilisée le mieux possible ». Thomas Schmitt, chargé de recherche CNRS au sein d’EM2C et responsable scientifique pour CentraleSupélec du mésocentre, estime pour sa part qu’« un mésocentre, ce n’est pas que du matériel. C’est aussi mettre ensemble des personnels, des savoirs et des compétences, ce qui n’est pas possible quand on est tout seul ». La polyvalence et la souplesse d’utilisation du mésocentre l’ont depuis installé entre les laboratoires et les supercalculateurs nationaux, comme Jean Zay, voire européens, en direction desquels il peut servir de « passerelle », voire de « tremplin » assure encore le responsable scientifique pour CentraleSupélec.

 

Tuyaux du système de refroidissement du supercalculateur Jean Zay
Tuyaux du système de refroidissement du supercalculateur Jean Zay. ® Rafael Medeiros / Idris / CNRS Images

 

« Marcher ensemble pour aller plus loin »

Presque dix ans après la naissance de Fusion, quel avenir pour la mutualisation de machines de calcul sur le plateau de Saclay ? Du côté du mésocentre, on envisage de mutualiser à court terme les systèmes de stockage de données massives. Thomas Schmitt tempère néanmoins les développements futurs : « On ne cherche pas à grandir à tout prix, mais à garder un système global et complet capable de répondre à plusieurs demandes ». D’autant que, du côté de l’Idris, on atteint bientôt la limite des infrastructures techniques d’alimentation électrique et de climatisation du centre pour accueillir de nouvelles machines. Cependant, un projet de mise à niveau important de ces infrastructures techniques a été initié dès 2022 et devrait être finalisé mi-2026. De fait, Pierre-François Lavallée juge l’expérience de la mutualisation si réussie qu’il ambitionne dorénavant de « développer, à côté de notre mission nationale du supercalculateur, une autre mission nationale : l’hébergement de machines ou de services pour tout l’enseignement supérieur et la recherche », jusqu’alors resté secondaire par rapport à Jean Zay. En attendant l’officialisation de cette nouvelle mission, l’Idris prévoit d’acheter prochainement un cube, soit une structure matérielle dans laquelle héberger de façon efficace et extensible des armoires de calcul et de stockage à destination de laboratoires usagers.

Quels que soient les chemins qu’empruntera la mutualisation de matériel informatique au sud de l’Île-de-France, Thomas Schmitt demeure enthousiaste : « C’est parce qu’on marche ensemble qu’on pourra aller plus loin ».

  • 1CNRS / ENS Cachan.
  • 2CNRS / École Centrale Paris.
  • 3Un mésocentre est un centre de calcul scientifique fournissant des moyens de calcul à une échelle intermédiaire entre les machines de laboratoires et celles des centres nationaux.
  • 4CentraleSupélec / ENS Paris-Saclay / CNRS.
  • 5Le PUE est un indicateur mis au point pour mesurer l’efficacité énergétique d’un datacentre. Il est calculé en divisant le total de l’énergie consommée par le datacentre par le total de l’énergie utilisée par les équipements informatiques (serveur, stockage, réseau). Plus on est proche de 1, plus la consommation d’énergie est efficace. Ce calcul ne prend cependant pas en compte la récupération de chaleur.
  • 6Le calcul HPC consiste à agréger la puissance de calcul d'une manière qui offre une puissance beaucoup plus élevée que les ordinateurs et serveurs traditionnels.
250 utilisateurs uniques actifs par mois sur Ruche en 2024 (600 utilisateurs uniques actifs sur l’année), soit quatre fois plus qu’au lancement en 2020
Une trentaine d'unités impliquées chez les partenaires, soit trois fois plus qu’en 2020
Plus de 10 000 cœurs pour le calcul CPU (Central Processing Unit) sur Ruche (et également environ 15 000 autres sur Cloud@VirtualData)
Jusqu’à 1.5 To de RAM réservables pour les calculs en large mémoire
23 nœuds GPU (Graphics Processing Unit) totalisant plus de 80 cartes graphiques Nvidia A100 et V100 sur Ruche