Notizie
AMD parla delle capacità AI delle GPU RDNA 3 e della NPU XDNA: Radeon RX 7900 XT fino a 8 volte più veloce di Ryzen 7 8700G
AMD ha condiviso alcuni dati interessanti riguardanti le capacità della sua GPU RDNA 3 e dell’hardware XDNA NPU nei carichi di lavoro AI incentrati sul consumatore.
Le GPU RDNA 3 e la NPU XDNA di AMD forniscono una solida suite di funzionalità AI incentrate sul consumatore su piattaforme PC
Non c’è dubbio che AMD sia stata all’avanguardia nell’offrire funzionalità AI a un pubblico di PC più ampio attraverso l’implementazione di XDNA NPU sulle sue APU Ryzen. La prima NPU è stata lanciata nel 2023 con le APU Phoenix “Ryzen 7040” e recentemente è stata aggiornata con la serie Hawk Point “Ryzen 8040”. Oltre alla NPU, l’architettura GPU RDNA 3 di AMD ha incorporato anche una grande quantità di core AI dedicati in grado di gestire questi carichi di lavoro e l’azienda sta cercando di consolidare il suo slancio con la sua suite software ROCm.
Durante l’ultimo webinar “Meet The Experts”, AMD ha discusso di come la sua suite grafica Radeon, come la serie RDNA 3, offra a giocatori, creatori e sviluppatori una gamma di carichi di lavoro ottimizzati che includono:
- Miglioramento della qualità video
- Rimozione del rumore di fondo
- Testo in immagine (GenAI)
- Modelli linguistici di grandi dimensioni (GenAI)
- Modifica delle foto
- Montaggio video
- Ampliamento
- Testo in immagine
- Addestramento del modello (Linux)
- Piattaforma ROCm (Linux)
A partire dall’architettura grafica AMD RDNA 3, le ultime GPU presenti sulle GPU Radeon RX 7000 e sulle CPU Ryzen 7000/8000 forniscono oltre il doppio degli aumenti delle prestazioni dell’IA generazione su generazione.
Questi prodotti GPU offrono fino a 192 acceleratori AI ottimizzati per i carichi di lavoro FP16, sono ottimizzati in più framework ML come Microsoft DirectML, Nod.AI Shark e ROCm e dispongono di ampi pool di VRAM dedicata, essenziali per la gestione di set di dati di grandi dimensioni ( fino a 48 GB) e dispongono inoltre di una larghezza di banda più rapida, potenziata dalla tecnologia Infinity Cache.
Secondo AMD, la maggior parte dei casi d’uso dell’intelligenza artificiale sulla piattaforma PC include modelli LLM e Diffusion che dipendono principalmente dalle capacità di calcolo e di memoria dell’hardware su cui sono in esecuzione. Alcuni modelli come SDXL (Diffusion) sono vincolati da Compute e richiedono circa 4-16 GB di memoria mentre Llama2-13B e Mistral-8x 7B sono vincolati dalla memoria e possono utilizzare fino a 23 GB di memoria.
Come accennato in precedenza, AMD dispone di un’ampia gamma di hardware dotato di accelerazione AI dedicata. Anche la Radeon RX 7600 XT dell’azienda, una scheda grafica da $ 329 USA, ha 16 GB di VRAM e in termini di prestazioni offre un incremento di 3,6 volte rispetto al Ryzen 7 8700G in LM Studio mentre la RX 7900 XT è fino a 8 volte più veloce di l’8700G.
Prestazioni LM Studio (più alto è meglio):
- Unità centrale Ryzen 7 8700G: 11 Gettoni/secondo
- RX7600XT 16 GB: 40 Gettoni/secondo
- RX7900XT 20 GB: 85 gettoni/secondo
Diffusione AMUSE (più basso è meglio):
- Unità centrale Ryzen 7 8700G: 2,6 secondi/immagine
- RX7600XT 16GB: 0,97 secondi/immagine
- RX7900XT 20 GB: 0,6 secondi/immagine
AMD fa anche un piccolo confronto con la GeForce RTX di NVIDIA, che il team verde chiama la piattaforma “Premium AI PC”. Entrambe le linee offrono un supporto simile, ma AMD mostra come le sue GPU da 16 GB arrivano a un prezzo inferiore di $ 329 US (7600 XT) mentre la GPU da 16 GB più entry-level di NVIDIA parte da circa $ 500 US (4060 TI 16 GB). L’azienda dispone anche di uno stack di fascia alta che scala fino a 48 GB di memoria. AMD ha anche mostrato in precedenza ottime prestazioni contro il Core Ultra di Intel nell’intelligenza artificiale ad un valore migliore.
Andando avanti, AMD parla di come sta procedendo ROCm 6.0 e di come lo stack open source ha ricevuto supporto per hardware di livello consumer come Radeon RX 7900 XTX, 7900 XT, 7900 GRE, PRO W7900 e PRO W7800. ROCm 6.0 supporta modelli e algoritmi PyTorch e ONNX Runtime ML sul sistema operativo Ubuntu 22.03.3 (Linux) e migliora l’interoperabilità aggiungendo INT8 per modelli più complessi.
L’azienda sta anche cercando di rendere ROCm ancora più open source offrendo agli sviluppatori una gamma di stack software e documentazione hardware.
AMD e la sua suite ROCm sono in competizione con lo stack dominante NVIDIA CUDA e TensorRT, mentre anche Intel sta guadagnando terreno con il proprio stack AI OneAPI. Queste sono le tre forze a cui prestare attenzione quando si tratta di carichi di lavoro AI sulla piattaforma PC, quindi aspettatevi molte innovazioni e ottimizzazioni per l’hardware esistente e di prossima generazione in futuro.
