Travailler sur une solution pratique à la pénurie mondiale de GPU, prétendument
En bref: Fujitsu est un conglomérat multinational japonais qui vend principalement des produits informatiques personnels et d’entreprise, ainsi que des serveurs x86 et mainframe. La société est également active dans le secteur du calcul haute performance (HPC) et souhaite bien entendu exploiter le dernier engouement pour l’IA, comme toutes les autres entreprises technologiques de la planète.
Fujitsu a développé deux nouvelles technologies conçues pour optimiser les charges de travail CPU et GPU sur de puissants systèmes HPC. L’entreprise s’efforce d’allouer des ressources en temps réel pour mieux gérer les processus avec une efficacité d’exécution élevée tout en optimisant le traitement parallèle de plusieurs programmes en même temps. Les nouvelles solutions visent à répondre à la pénurie mondiale de GPU causée par la demande explosive d’apprentissage génératif et d’autres technologies liées à l’IA, a déclaré Fujitsu.
Prévues pour être présentées lors de la conférence SC23 HPC de cette semaine à Denver, Colorado, ces technologies d’optimisation incluent un « allocateur GPU adaptatif » qui peut apparemment détecter si un programme doit être exécuté sur un accélérateur GPU ou sur un CPU. L’allocateur est implémenté en tant que serveur distinct, conçu pour mesurer les performances d’exécution du code.
Si un programme souhaite utiliser un GPU dans un système HPC, le serveur d’allocation accorde l’accès tout en examinant le temps de traitement d’une tâche mini-batch sur un GPU et un CPU. Si le test par lots du GPU ne permet pas de réduire suffisamment le temps de traitement, l’allocateur procède à la réallocation de la tâche sur un processeur. Les programmes devront malheureusement être écrits spécifiquement pour utiliser le nouveau serveur d’allocation via un framework dédié, a confirmé Fujitsu.
Une autre solution pour l’optimisation de la charge de travail HPC est Interactive HPC, que Fujitsu décrit comme la première technologie au monde pour « la commutation en temps réel de l’exécution de plusieurs programmes sur un système HPC ». Les méthodes de contrôle conventionnelles utilisent la communication unicast, explique Fujitsu, en basculant l’exécution du programme sur chaque serveur « un par un ».
Interactive HPC adopte une méthode de communication par diffusion, qui envoie des instructions de commutation à chaque nœud informatique d’un système HPC. La nouvelle méthode semble être suffisamment efficace pour réduire le temps de commutation du processus de quelques secondes à 100 millisecondes tout en travaillant dans un environnement HPC à 256 nœuds, a déclaré Fujitsu.
Les projets de Fujitsu concernant la nouvelle technologie d’allocation de GPU se concentrent principalement sur « Kozuchi », la plate-forme d’IA de l’entreprise conçue pour fournir aux clients un moyen rapide de tester les « technologies d’IA avancées ». La technologie d’optimisation HPC apparaîtra également sur le simulateur informatique quantique à 40 qubits de Fujitsu. D’autres applications dans un environnement HPC de type computing-as-a-service sont apparemment également envisagées.
