InfiniBand
Un réseau à très faible latence conçu pour le calcul haute performance et les clusters d'IA.
En détail
InfiniBand combine haut débit, faible latence et transfert direct de mémoire entre serveurs. Il est souvent choisi pour synchroniser de grands ensembles de GPU pendant l'entraînement.
Exemple concret
Un cluster de plusieurs milliers de GPU utilise InfiniBand pour échanger rapidement les paramètres du modèle.