Az AMD hivatalosan is bejelentette Instinct MI350 sorozatú gyorsítóit, amelyek az eddig ismert chiplet dizájnt viszik tovább, komplex 3D-s összeköttetéssel. Az alapokat 2 darab 6 nm-es IO chiplet adja, amelyek tartalmazzák a memóriavezérlőt, a memóriacsatornákat, illetve az összesen 256 MB-os Infinity Cache-t. Ezeknek a chipleteknek a tetejére kerülnek közvetlenül a számítást végző lapkák. Az MI350 sorozat IO chipletenként négy, azaz összesen nyolc darab, 3 nm-es, N3P jelzésű TSMC node-on készülő XCD-t kínál.
[+]
Az XCD-k a CDNA 4 architektúrára épülnek, és egy XCD-ben fizikailag 36 darab multiprocesszor található, viszont nem mind lesz aktív. A memória tekintetében a dizájn 8192 bites memóriavezérlőt biztosít, amelyhez összesen nyolc darab HBM3E szabványú memóriastack kapcsolódik. Az összkapacitás így 288 GB, míg a memória-sávszélesség 8 TB/s lesz. A teljes hardver 185 milliárd tranzisztorból áll.
[+]
Az AMD kétféle kiépítést alkalmaz majd, ezek pontos paramétereit az alábbi táblázat részletezi:
| Típus | MI350X | MI355X |
|---|---|---|
| IO chipletek száma |
2 | |
| XCD-k chipletek száma | 8 | |
| XCD architektúra | CDNA 4 | |
| Maximális XCD magórajel | 2200 MHz | 2400 MHz |
| Shader részelemek száma | 16 384 | |
| Int4 számítási teljesítmény | 4600 TOPS | 5000 TOPS |
| Int8 számítási teljesítmény | 4600 TOPS | 5000 TOPS |
| FP8 számítási teljesítmény | 4600 TFLOPS | 5000 TFLOPS |
| bfloat16 számítási teljesítmény | 2300 TFLOPS | 2500 TFLOPS |
| FP16 számítási teljesítmény | 2300 TFLOPS | 2500 TFLOPS |
| FP32 mátrix számítási teljesítmény | 144,2 TFLOPS | 157,3 TFLOPS |
| FP64 mátrix számítási teljesítmény | 72,1 TFLOPS | 78,6 TFLOPS |
| FP32 számítási teljesítmény | 144,2 TFLOPS | 157,3 TFLOPS |
| FP64 számítási teljesítmény | 72,1 TFLOPS | 78,6 TFLOPS |
| Effektív memória-órajel | 8000 MHz | |
| Memória típusa | HBM3E | |
| Memóriabusz | 8192 bit | |
| VRAM kapacitása | 288 GB | |
| Memória-sávszélesség | 8 TB/s | |
| ECC támogatás |
van | |
| Maximális fogyasztási keret | 1000 watt | 1400 watt |
| Formátum/Tokozás | OAM | |
| PCI Express vezérlő |
x16-os PCI Express 5.0 | |
| Infinity Fabric linkek száma | 7 | |
| RAS és Page Retirement |
van | |
Az MI350 sorozat OAM formátumban érkezik, és alapvetően passzív hűtést használ (itt a szervernek kell megoldania a légáramlást), de a csúcsmodellnek van aktív, vízhűtésre optimalizált verziója is. Az AMD platformszintű implementációt is kínál, ami lényegében nyolc darab MI350X-et vagy MI355X-et köt össze 1075 GB/s-os adatátviteli sebesség mellett, UBB 2.0-s platformformátumon.
A hardverek mellé érkezik a ROCm 7, amely a generatív AI feladatokra lett optimalizálva. A friss csomag nagymértékű optimalizálást tartalmaz, és értelemszerűen leginkább az Instinct MI350-es dizájnokhoz illeszkedik.
A friss fejlesztéseket az AMD fő szerverpartnerei már megkapták, ezen vállalatok később leplezik le a saját szerverdizájnjaikat.
