Najbolji AI grafički procesor više neće biti H100, jer je Nvidia najavila H200 koji će biti njen prvi AI GPU koji podržava HMB3e memoriju. Njegova primarna nadogradnja ogleda se u memoriji većeg propusnog opsega potrebnoj za ubrzavanje generativne veštačke inteligencije, velikih jezičkih modela i HPC aplikacija, pa će tako u odnosu na 80 GB koliko ima H100, novi AI GPU imati 141 GB i to HBM3e memorije.
Hopper H200 koristi pomenutu memoriju koja radi na 4,8 TB/s, što je otprilike dvostruko veći kapacitet i 2,4 puta veći propusni opseg nego što ima takođe jedan od najboljih grafičkih procesora Nvidia Ampere A100. Novi računarski akcelerator dobija i nadogradnju u odnosu na svog H100 prethodnika inovativnim softverskim unapređenjima kao što je Nvidia TensorRT-LLM.
Sve to, trebalo bi da omogući značajno povećanje performansi, uključujući utrostručenje brzine zaključivanja velikih jezičkih modela kao što je Llama 2, model veštačke inteligencije sa 70 milijardi parametara.
Uz novi AI GPU Nvidia je takođe predstavila HGX H200, AI platformu zasnovanu na sveže predstavljenim Tensor Core GPU-ovima. Tako bi ova platforma, radeći na novim grafičkim procesorima, trebalo da ponudi FP8 duboko učenje do 32 petaflopsa kao i 1,1 TB ukupne memorije velikog propusnog opsega.
