NVIDIA ha annunciato NVHBM, una nuova tecnologia di memoria ad alta larghezza di banda progettata per modificare il modo in cui il controller di memoria viene integrato all’interno di un sistema GPU/XPU.
L’elemento distintivo di NVHBM consiste nello spostamento del memory controller dal die di elaborazione al base die dello stack HBM. Secondo NVIDIA, questa architettura consente di recuperare preziosa superficie sul compute die, ridurre i consumi della memoria e incrementare la larghezza di banda disponibile.
La tecnologia, inizialmente pensata per le future GPU NVIDIA, sarà inoltre resa disponibile a clienti XPU di terze parti attraverso NVLink Fusion.
Il controller di memoria viene spostato nello stack HBM
Nelle implementazioni HBM tradizionali, il controller di memoria viene generalmente integrato nel die di calcolo. Questo approccio richiede però una parte della superficie del chip per ospitare circuiteria che non svolge direttamente operazioni di elaborazione.
NVHBM introduce un’architettura differente: il controller viene trasferito direttamente nel 3D stack della memoria HBM. In questo modo NVIDIA può recuperare spazio sul die di elaborazione e destinarlo ad altre risorse computazionali.
Secondo i dati dichiarati dall’azienda, rispetto a una configurazione basata su HBM4E standard, NVHBM può offrire:
- fino al 30% di larghezza di banda in più;
- fino al 15% di riduzione dei consumi della memoria HBM;
- fino al 25% di area del compute die utilizzabile in più.
Si tratta di miglioramenti che, soprattutto nei sistemi destinati all’intelligenza artificiale e all’HPC, possono avere un impatto significativo sulla densità di calcolo complessiva.
Un PHY più compatto per recuperare spazio sul die
Uno dei principali vantaggi architetturali di NVHBM deriva dalla riprogettazione dell’interfaccia fisica tra memoria e processore.
Le implementazioni HBM convenzionali utilizzano connessioni caratterizzate da un’ampia interfaccia, con conseguenze sull’area occupata all’interno del package. NVIDIA ha sviluppato per NVHBM un PHY custom in grado di ridurre considerevolmente la superficie dedicata all’I/O.
Secondo l’azienda, l’area occupata dall’interfaccia fisica può essere ridotta fino al 67% rispetto a HBM4E conforme agli standard JEDEC.
La riduzione delle dimensioni dell’interfaccia produce inoltre vantaggi sul layout dell’interposer. Una connessione più compatta semplifica infatti il routing e può liberare fino all’80% di silicio utilizzabile in più in determinate aree del layout.
Questo aspetto assume particolare importanza nei processori di grandi dimensioni, dove più stack HBM devono essere collocati nelle immediate vicinanze di un enorme compute die.
Meno consumi e maggiore margine termico
Il secondo importante vantaggio riguarda l’efficienza energetica. NVIDIA dichiara una riduzione fino al 15% dei consumi della memoria HBM rispetto alle soluzioni di riferimento.
Il beneficio non si limita alla semplice diminuzione dell’energia necessaria per alimentare la memoria. La riduzione dei consumi produce infatti anche un maggiore margine termico disponibile per il compute die.
In ambienti enterprise e nei grandi data center, dove migliaia di acceleratori possono funzionare contemporaneamente all’interno di centinaia di rack, anche una piccola riduzione dei consumi per singola unità può tradursi in una quantità considerevole di energia risparmiata.
NVIDIA ha fornito un esempio particolarmente significativo: in un data center da 1 GW equipaggiato con XPU da 2.000 W, il risparmio energetico potrebbe teoricamente creare un margine sufficiente per arrivare a 15.000 XPU aggiuntive in termini di capacità energetica disponibile.
HBM4E a 16 Gbps e il potenziale di NVHBM
L’annuncio di NVIDIA arriva in un momento di rapida evoluzione anche per quanto riguarda le memorie HBM4E convenzionali.
Durante Hot Chips 2026, Samsung ha confermato di essere al lavoro su memorie HBM4E con una velocità di trasferimento di 16 Gbps per pin, rispetto ai 14 Gbps delle attuali implementazioni HBM4E.
Una configurazione HBM4E da 14 Gbps, utilizzando un’interfaccia da 2.048 bit, raggiunge circa 3,6 TB/s per stack. Portando la velocità a 16 Gbps, la larghezza di banda sale a circa 4 TB/s per stack.
Applicando il miglioramento del 30% dichiarato da NVIDIA per NVHBM, una singola implementazione potrebbe arrivare, in linea teorica, a circa 5,2 TB/s di banda per stack.
Si tratta naturalmente di un calcolo teorico basato sui valori dichiarati e non equivale necessariamente alle prestazioni di un prodotto commerciale definitivo.
NVHBM arriva anche sui sistemi XPU di terze parti
Un altro elemento strategico dell’annuncio riguarda la disponibilità della tecnologia al di fuori delle sole GPU NVIDIA.
Attraverso NVLink Fusion, l’azienda intende infatti estendere NVHBM ai clienti che sviluppano proprie soluzioni XPU. L’obiettivo è consentire anche a piattaforme di terze parti di sfruttare i vantaggi derivanti dall’integrazione del controller HBM direttamente nello stack di memoria.
NVIDIA ha inoltre dichiarato che NVHBM sarà sottoposta a validazione con diversi produttori di memoria, con l’obiettivo di semplificare il processo di qualificazione dei fornitori per i clienti.
Annapurna Labs è il primo partner confermato
Tra i primi partner annunciati figura Amazon’s Annapurna Labs, che collaborerà con NVIDIA allo sviluppo e alla validazione di NVHBM.
La collaborazione rappresenta un segnale importante, considerando il ruolo sempre più rilevante degli acceleratori proprietari nei grandi data center e nei carichi di lavoro dedicati all’intelligenza artificiale.
L’approccio di NVIDIA punta quindi non soltanto ad aumentare la velocità della memoria, ma a intervenire sull’intera architettura del sottosistema HBM, dalla gestione del controller fino al PHY e al routing dell’interposer.
Una nuova direzione per le architetture AI
Con NVHBM, NVIDIA propone un’evoluzione che va oltre il semplice incremento della velocità dei chip di memoria. Spostare il controller nel base die permette infatti di affrontare contemporaneamente tre problematiche fondamentali degli acceleratori moderni: area del compute die, larghezza di banda e consumo energetico.
Se i valori dichiarati saranno confermati dalle implementazioni commerciali, la tecnologia potrebbe diventare particolarmente interessante per GPU e XPU di fascia alta, dove la disponibilità di memoria ad elevata banda e la densità di calcolo sono ormai fattori determinanti.
L’integrazione con NVLink Fusion e la collaborazione con più produttori di memoria indicano inoltre la volontà di NVIDIA di trasformare NVHBM in una tecnologia applicabile a un ecosistema più ampio di acceleratori, non limitandola esclusivamente alle proprie GPU.
HW Legend Staff
