IA Réseaux d'Échelle

Les limites énergétiques forcent les clusters d'IA à opérer sur plusieurs data centers

Les systèmes de plus de 100 000 accélérateurs exigent des réseaux d'interconnexion régionaux pour contourner les goulets d'étranglement thermiques et électriques dans une installation unique

• Mis à jour il y a 4 heures
Infraestrutura de supercomputação distribuída operando interconexões de alta largura de banda entre diferentes instalações
Infraestrutura de supercomputação distribuída operando interconexões de alta largura de banda entre diferentes instalações (Imagem conceitual editorial / NEWS by Box4Dev [Reinterpretação Visual])

Échelle des Clusters

  • Les systèmes d'intelligence artificielle modernes regroupent déjà plus de 100 000 accélérateurs et des millions de nœuds de traitement
  • Les limites thermiques et d'alimentation électrique rendent impossible la concentration de ces charges dans un seul bâtiment
  • Les architectures 'scale-across' connectent plusieurs data centers régionaux pour soutenir l'avancée des grands modèles

L'expansion rapide des modèles de fondation a imposé une barrière physique sévère aux centres de traitement mondiaux. Les clusters contemporains dédiés à l'entraînement de l'intelligence artificielle dépassent la barre des 100 000 accélérateurs dédiés et agrègent potentiellement des millions de terminaux de CPU. Cette concentration massive de matériel atteint le plafond de disponibilité énergétique et de capacité de refroidissement offert par les installations individuelles.

Face à l'impossibilité de maintenir des centaines de milliers d'unités de traitement graphique et de tenseurs sous le même toit, les entreprises de l'hyperscale entament la transition vers des architectures distribuées. La stratégie exige que des systèmes informatiques unifiés opèrent de manière géographiquement dispersée sur plusieurs data centers interconnectés.

La division entre scale-up et scale-out

Traditionnellement, le calcul haute performance est structuré autour de deux domaines essentiels d'interconnexion. Le domaine d'extension interne (scale-up) connecte directement les processeurs et les accélérateurs dans des systèmes intégrés, en utilisant des protocoles propriétaires et des bus dédiés tels que NVLink, AMD Infinity Fabric, Intel UPI ou le consortium ouvert UALink.

Quant au domaine d'extension externe (scale-out), il gère l'association de serveurs autonomes et d'ensembles de racks au sein de réseaux à grande échelle. À ce niveau, des technologies consacrées prévalent, telles qu'Ethernet, InfiniBand, HPE Slingshot et, plus récemment, le standard émergent Ultra Ethernet, chacun étant conçu avec des profils spécifiques de bande passante et de résilience aux congestions.

Cependant, l'évolution du silicium met en évidence un décalage structurel dans cette équation. Le rendement informatique des accélérateurs progresse à une vitesse sensiblement supérieure à la capacité des réseaux de télécommunications, réduisant le gain proportionnel généré par des processeurs plus rapides si l'infrastructure de transport de données présente des latences ou des goulets d'étranglement de flux.

L'émergence des réseaux 'scale-across'

Pour viabiliser l'opération coordonnée entre des bâtiments et des zones géographiques distinctes, les fournisseurs et les opérateurs de cloud portent leur attention sur le concept d'interconnexion régionalisée, appelé scale-across. Des entreprises telles que Google, Cisco et Marvell orientent des développements spécifiques vers cette couche intermédiaire de trafic interrégional.

Cette approche cherche à atténuer les restrictions thermiques et électriques locales, tout en maintenant des latences contrôlées et une cohérence des données entre des pôles industriels distincts. Ainsi, les charges d'entraînement qui dépendaient auparavant exclusivement de la proximité physique immédiate sont désormais orchestrées de manière cloisonnée grâce à des routes optiques optimisées.

Impact Pratique

Du point de vue architectural, la transition vers les réseaux scale-across redéfinit la conception des bus et des commutateurs optiques, transférant la pression d'efficacité du silicium de l'accélérateur vers les sous-systèmes de transmission à faible latence et les techniques avancées de gestion de tampon.

Sur le plan opérationnel et économique, ce modèle soulage la surcharge des gestionnaires de réseaux électriques dans les pôles d'hyperscale traditionnels, permettant aux opérateurs de répartir de nouveaux investissements dans des régions présentant une plus grande disponibilité électrique et des matrices renouvelables, sans segmenter les clusters en silos logiciels isolés.

Source Primaire