Společnost Red Hat oznámila zpřístupnění generativní AI pro libovolný model a jakýkoli akcelerátor v hybridním cloudu prostřednictvím Red Hat AI Inference Serveru. Oznámena byla také všeobecná dostupnost Red Hat OpenShift Lightspeed pro zvýšení produktivity hybridního cloudu pomocí generativní AI.
Red Hat AI Inference Server má být významným krokem k demokratizaci generativní AI v hybridním cloudu. Inferenční server podnikové třídy, novinka v portfoliu Red Hat AI, se zrodil z komunitního projektu vLLM a byl vylepšen integrací technologií Neural Magic společnosti Red Hat. Dle výrobce nabízí vyšší rychlost, účinnost akcelerátoru i nákladovou efektivitu. Má tak pomoci naplnit vizi Red Hatu o provozování libovolného modelu genAI na jakémkoli akcelerátoru AI v jakémkoli cloudovém prostředí. Ať už je nasazena samostatně, nebo jako integrovaná součást Red Hat Enterprise Linuxu AI (RHEL AI) a Red Hat OpenShift AI, umožňuje dle výrobce tato platforma organizacím s větší jistotou nasadit a škálovat generativní AI v produkčním prostředí.
„Inference naplňuje skutečný příslib generativní umělé inteligence, když uživatelům nabízí v interakci rychlejší a přesnější odpovědi příslušného modelu. Musí být ale poskytovány efektivním a nákladově úsporným způsobem. Red Hat AI Inference Server je určen k uspokojení poptávky po vysoce výkonném a pohotovém odvozování ve velkém měřítku při zachování nízkých nároků na zdroje. Poskytuje společnou inferenční vrstvu, která podporuje libovolný model běžící na jakémkoli akcelerátoru v jakémkoliv prostředí,“ řekl Joe Fernandes, viceprezident a generální ředitel AI Business Unit společnosti Red Hat.
Oznámena byla také všeobecná dostupnost Red Hat OpenShift Lightspeed pro zvýšení produktivity hybridního cloudu pomocí generativní AI: Red Hat OpenShift Lightspeed má výrazně zlepšit způsob, jakým uživatelé pracují s aplikačními platformami v hybridním cloudu i jak je spravují. Umožňuje uživatelům dosahovat větší přesnost i bez rozsáhlých odborných znalostí a zároveň uvolňuje kapacitu zkušenějších pracovníků v IT, aby se mohli věnovat zásadnějším inovacím.
