Nástupce architektury Ampere nese označení Hopper po americké průkopnici počítačových věd Grace Brewster Murray Hopperové. Nasazení novinky z dílny společnosti nVidia do výpočetních akcelerátorů má mimo jiné výrazně urychlit úlohy strojového učení. Namísto týdenního tréninku modelu postačí 20 hodin.
Prvním produktem s novou architekturou bude čip H100. Tvoří jej soubor 80 miliard tranzistorů, podporuje rozhraní PCIe Gen5 a čtvrtou generaci NVLink. V kombinaci s paměťovými moduly HBM3 dosahuje šířka interního přenosového pásma hodnoty 3 terabitů za sekundu. Čipy bude vyrábět tchajwanská společnost TSMC s pomocí 4nanometrového procesu. Výkon akcelerátorů A100 s architekturou Ampere mají H100 s architekturou Hopper překonávat tří a šestinásobně.
„Dvacet grafických procesorů H100 dokáže obsloužit ekvivalent celého světového internetového provozu, což zákazníkům umožňuje poskytovat pokročilé systémy doporučení uživatelům a rozsáhlé jazykové modely pracující s daty v reálném čase," uvedla společnost nVidia.
Čipy H100 bude také disponovat druhou generací technologie multi-instance. Díky ní zvládne podporovat až sedm virtuálních oddělených prostředí na jednom čipu. Výrobce také uvádí, že díky podpoře důvěrných výpočtů to bude možné realizovat a provozovat bezpečně.
„Hopper přináší důvěru do akcelerovaných výpočtů pomocí kombinace hardwaru a softwaru. Když je povoleno důvěrné počítání nebo je vytvořeno důvěryhodné prostředí pro vykonávání prostřednictvím důvěrného virtuálního stroje, který zahrnuje CPU i GPU dohromady, přenosy dat mezi CPU na GPU a GPU na GPU v uzlu jsou šifrovány a dešifrovány plnou rychlostí linky PCIe,“ uvedl Paresh Kharya, ředitel společnosti nVidia pro technologie datových center. „H100 má také hardwarový firewall, který zabezpečuje celou pracovní zátěž na GPU H100 a také ji izoluje mezi pamětí a enginy počítače, takže nikdo jiný, než vlastník důvěryhodného prostředí pro provádění s klíčem se nemůže dotknout žádných dat zakódovaných uvnitř.“
Akcelerátory H100 dorazí na trh ve třech fyzických provedeních. Jako rozšiřující karta pro standardní serverové systémy. Ty ale musejí podporovat rozhraní NVLink. Druhé provedení má podobu karty s rozhraním SXM a třetí karty PCIe H100 CNX. Poslední uvedená varianta navíc přidává ConnectX7 Smart NIC.
Společnost nVidia navíc spojí osm akcelerátorů H100 do systému DGX H100, jenž nabídne celkový výkon 32 petaflopů v režimu FP8. A úplně nové řešené DGX Superpod spojí třicet dva uzlů DGX H100, jejich komunikaci zajistí rozhraní NVLink s rychlostí až 900 GB za sekundu.
Služby akcelerátorů H100 bude společnost nVidia nabízet i prostřednictvím veřejných cloudových služeb. Na trhu se v obou podobách, tj. ve fyzické a jako služba, objeví ve třetím letošním čtvrletí.
