HBM — High Bandwidth Memory
Une mémoire à très haut débit placée au plus près des accélérateurs.
En détail
La HBM alimente rapidement les GPU en données grâce à des piles de mémoire interconnectées. Sa capacité et sa bande passante sont déterminantes pour les grands modèles d'IA.
Exemple concret
Un accélérateur équipé de davantage de HBM peut charger un modèle plus volumineux sans répartir ses paramètres sur autant de puces.