Les routes vers Zettascale et l'informatique quantique sont longues et sinueuses

Aux États-Unis, la première étape sur la voie des systèmes HPC exascale a commencé par une série d'ateliers en 2007. Ce n'est qu'une décennie et demie plus tard que le système "Frontier" de 1 686 pétaflops du laboratoire national d'Oak Ridge a été mis en ligne. . Cette année, le laboratoire national d'Argonne se prépare à activer l'interrupteur pour "Aurora", qui sera soit la deuxième ou la troisième machine exascale de ce type aux États-Unis, selon le moment du système "El Capitan" à Lawrence Laboratoire national de Livermore.

Il y a eu des retards et des revers sur la voie de l'exascale pour toutes ces machines, ainsi que des changements technologiques, une concurrence continue avec la Chine et d'autres défis. Mais ne vous attendez pas à ce que le prochain saut vers l'échelle zetta - ou même l'informatique quantique - soit plus rapide, selon Rick Stevens, directeur associé du laboratoire d'informatique pour l'environnement et les sciences de la vie à Argonne. Les deux pourraient prendre encore 15 à 20 ans ou plus.

Telle est la nature du HPC.

"C'est un jeu à long terme", a déclaré Stevens lors d'un récent webinaire sur l'avenir proche et plus lointain de l'informatique dans le HPC. "Si vous êtes intéressé par ce qui se passera l'année prochaine, le HPC n'est pas le jeu pour vous. Si vous voulez penser en termes de décennie ou de deux décennies, le HPC est le jeu pour vous car nous sommes sur une trajectoire de mille ans pour accéder à d'autres systèmes stellaires ou quoi que ce soit. Ce n'est que le début. Oui, nous avons eu une excellente série de lois de Moore. L'humanité ne se termine pas demain. Nous avons un long chemin à parcourir, nous devons donc être En pensant, que signifie le calcul haute performance dans dix ans ? Qu'est-ce que cela signifie dans vingt ans ? Cela ne signifie pas la même chose. En ce moment, cela signifie quelque chose de différent. »

Cette partie "en ce moment" qui était au cœur de la conférence de Stevens est l'IA. Non seulement les applications HPC et les domaines de recherche améliorés par l'IA qui bénéficieraient de la technologie, mais aussi les simulations et les substituts gérés par l'IA, les accélérateurs d'IA dédiés et le rôle que l'IA jouera dans le développement des grands systèmes. Il a noté l'explosion des événements dans le domaine de l'IA entre 2019 et 2022, l'essentiel du temps passé dans la pandémie de COVID-19.

Alors que les grands modèles de langage – qui sont au cœur d'outils tels que le très populaire ChatGPT et d'autres chatbots d'IA générative – et l'apprentissage en profondeur texte-image Stable Diffusion ont décollé, des techniques d'IA ont été utilisées pour replier un milliard de protéines et améliorer les mathématiques ouvertes. problèmes et, il y a eu une adoption massive de l'IA parmi les développeurs HPC. L'IA a été utilisée pour accélérer les applications HPC. En plus de tout cela, les systèmes exascale ont commencé à arriver.

"Cette explosion se poursuit en termes de plus en plus de groupes construisant des modèles à grande échelle et presque tous ces modèles sont dans le secteur privé", a déclaré Stevens. "Il n'y a qu'une poignée d'entre eux qui sont même réalisés par des organisations à but non lucratif, et beaucoup d'entre eux sont des sources fermées, y compris GPT-4, qui est le meilleur actuel. Cela nous indique que la tendance n'est pas vers des millions de petits modèles , c'est vers un nombre relativement restreint de modèles très puissants. C'est un type important de méta-chose qui se passe.

Tout cela - simulations et substituts, applications d'IA émergentes et cas d'utilisation de l'IA - nécessitera beaucoup plus de puissance de calcul dans les années à venir. L'Argonne Leadership Computing Facility (ALCF) dans l'Illinois commence à réfléchir à cela alors qu'il trace sa machine post-Aurora et celles au-delà. Stevens et ses associés envisagent un système huit fois plus puissant qu'Aurora, avec une demande de propositions à l'automne 2024 et une installation d'ici 2028 ou 2029. "Il devrait être possible de construire des machines de faible précision pour l'apprentissage automatique qui approchent d'un demi-zettaflop pour les opérations de faible précision. Deux ou trois rotations à partir de maintenant », a déclaré Stevens.

Une question portera sur les accélérateurs dans de tels systèmes. S'agira-t-il de versions plus récentes des GPU à usage général utilisés actuellement, de GPU augmentés de quelque chose de plus spécifique aux simulations d'IA ou d'un tout nouveau moteur optimisé pour l'IA ?

"C'est la question fondamentale. Nous savons que la simulation va continuer à être importante et qu'il y aura un besoin pour une numérique haute performance et haute précision, mais quel est le rapport de cela par rapport à l'IA est la question ouverte, " il a dit. "Les différents centres du monde entier qui réfléchissent à leur prochaine génération vont tous être confrontés à un type de décision similaire sur leur degré d'inclinaison vers le marché de l'IA ou la base d'applications d'IA à l'avenir."

L'ALCF a construit des bancs d'essai d'IA, en utilisant des systèmes de Cerebras Systems, SambaNova Systems, GraphCore, la partie Habana Labs d'Intel et Groq, qui comprendront des accélérateurs conçus pour les charges de travail d'IA pour voir si ces technologies mûrissent assez rapidement pour qu'elles puissent être le base d'un système à grande échelle et exécuter efficacement l'application d'apprentissage automatique HPC.

"La question est de savoir si les GPU à usage général vont être assez rapides dans ce scénario et suffisamment étroitement couplés aux CPU pour qu'ils soient toujours la bonne solution ou est-ce que quelque chose d'autre va émerger dans ce laps de temps ?" a-t-il déclaré, ajoutant que la question du support multi-locataires sera essentielle. "Si vous avez un moteur qui utilise un sous-ensemble du nœud, comment pouvez-vous prendre en charge certaines applications dans un sous-ensemble ? Comment pouvez-vous prendre en charge l'occupation multiple de ce nœud avec des applications qui complètent les ressources ? Il y a beaucoup de questions ouvertes sur la façon de faire ce."

Certaines de ces questions sont décrites ci-dessous :

Il y a aussi la question de savoir comment ces nouveaux grands systèmes seront construits. En règle générale, les nouvelles vagues technologiques - les changements dans les systèmes de refroidissement ou d'alimentation, par exemple - signifient des mises à niveau majeures de l'ensemble de l'infrastructure. Stevens a déclaré que l'idée d'une conception plus modulaire - où les composants sont commutés mais le système lui-même reste - a plus de sens. Les modules des systèmes, qui peuvent être plus grands que les nœuds actuels, peuvent être remplacés régulièrement sans avoir à mettre à niveau l'ensemble de l'infrastructure.

"Existe-t-il une base qui pourrait avoir une infrastructure d'alimentation, de refroidissement et peut-être d'optique passive, puis des modules qui doivent être remplacés beaucoup plus fréquemment alignés avec des nœuds de fabrication qui ont des interfaces vraiment simples ?" il a dit. "Ils ont un connecteur d'alimentation, ils ont un connecteur optique et ils ont un connecteur de refroidissement. C'est quelque chose auquel nous réfléchissons et dont nous discutons avec les fournisseurs : comment l'emballage pourrait évoluer pour le rendre beaucoup plus modulaire et le rendre beaucoup plus plus facile pour nous de mettre à niveau les composants du système sur une période de deux ans par opposition à une période de cinq ans. »

L'ALCF examine ces problèmes de manière plus agressive qu'au cours des dernières années, compte tenu des actifs que détient le Bureau des sciences du ministère de l'Énergie, tels que l'infrastructure de calcul et de données exascale, les installations expérimentales à grande échelle et une vaste base de code pour les simulations scientifiques. . Il y a aussi beaucoup d'équipes interdisciplinaires à travers les domaines et les laboratoires ; le projet Exascale Compute comprenait 1 000 personnes travaillant ensemble, selon Stevens.

L'automatisation est un autre facteur. Argonne et d'autres laboratoires ont toutes ces grosses machines et un grand nombre d'applications, a-t-il déclaré. Peuvent-ils trouver des moyens d'automatiser une grande partie du travail - comme la création et la gestion d'un substitut d'IA - pour rendre le processus plus rapide, plus facile et plus efficace ? C'est un autre domaine de recherche qui est en cours.

Pendant que tout ce travail se poursuit, le développement de systèmes à l'échelle zettascale et quantique évolue à leur propre rythme, que Stevens ne s'attend pas à voir largement utilisés avant 15 à 20 ans. D'ici la fin de la décennie, il sera possible de construire une machine à l'échelle zetta avec une faible précision, mais l'utilité d'un tel système variera. Finalement, il sera possible de construire une telle machine à 64 bits, mais ce n'est probablement pas avant au moins 2035. (Pas le 2027 dont Intel parlait à The Next Platform en octobre 2021.)

Pour le quantique, les coûts impliqués seront aussi importants que la technologie. Deux semaines d'exécution d'une application sur une machine exascale coûtent environ 7 millions de dollars en temps de calcul. Sur une machine quantique à grande échelle avec jusqu'à 10 millions de qubits - qui n'existent pas encore - l'exécution d'un problème pourrait coûter de 5 à 20 milliards de dollars, comme indiqué ci-dessous. Ce coût devrait descendre en ordres de grandeur pour qu'il puisse valoir ce que les gens paieraient pour résoudre des problèmes à grande échelle.

"Ce que cela nous dit, c'est que nous devons continuer à progresser sur l'informatique classique pendant que le quantique se développe, car nous pouvons savoir que nous pouvons utiliser l'informatique classique pour résoudre de vrais problèmes", a-t-il déclaré. "C'est vraiment un peu un argument pour cela. Nous pensons que les progrès à l'échelle zetta vont également prendre 15 à 20 ans, mais c'est un délai dans lequel nous sommes assez confiants et nous savons que nous pouvons réellement utiliser ces machines."

Tout cela revient au thème initial : l'innovation dans le HPC prend beaucoup de temps. Les systèmes hybrides quantiques-classiques pourraient éventuellement être la voie à suivre. L'industrie devra peut-être remplacer les substrats de calcul par quelque chose de moléculaire, d'optique ou qui n'a pas encore été inventé. Les ingénieurs, les scientifiques et les autres auront besoin de beaucoup de choses.

"Ce qui change le paysage le plus rapidement en ce moment, c'est l'IA et nous avons à peine effleuré la façon dont nous pourrions réorganiser les systèmes pour qu'ils soient vraiment la plate-forme idéale pour effectuer des calculs d'IA à grande échelle", a déclaré Stevens. "Cela pourrait tellement changer la donne que si nous avions cette conversation dans 10 ans, peut-être que quelque chose d'autre s'est produit. Ou peut-être que nous avons raison. Je suppose que ce sera quelque part au milieu. Ça va être un long match et il y aura de nombreuses perturbations et la chose avec laquelle nous devons être à l'aise est de trouver comment naviguer dans les perturbations, pas comment combattre les perturbations, car les perturbations sont nos amies. Ce sont en fait ce qui va nous donner de nouvelles capacités et nous doivent être agressivement à leur recherche."

Avec les faits saillants, les analyses et les histoires de la semaine directement de nous dans votre boîte de réception, sans rien entre les deux.Inscrivez-vous maintenant