Google uvedl XLA Serving Engine: AI modely se budou trénovat v Pythonu, nasazovat v C++

Google ohlásil dostupnost XLA Serving Engine pro OpenXLA. Nástroj umožňuje trénovat AI modely v Pythonu a provozovat inference v C++. Google uvádí výkon více než 6 milionů dotazů za sekundu.

Google otevřel zdrojový kód XLA Serving Engine (XSE), univerzálního nástroje pro export modelů a jejich provoz v ekosystému OpenXLA. Projekt odděluje prostředí pro vývoj a trénování modelů od produkčního nasazení: modely lze připravovat v Pythonu, zatímco samotné online vyhodnocování má běžet v C++.

XSE je dostupný pod licencí Apache 2.0. Google jej neprezentuje jako další framework pro tvorbu modelů, ale jako runtime a nástroj pro jejich export do produkčního prostředí. Cílí tedy na fázi inference, kdy již natrénovaný model přijímá požadavky a vrací výsledky uživatelům nebo jiným aplikacím.

Právě inference bývá u rozsáhlých služeb samostatným provozním problémem. Trénování modelu se odehrává méně často a typicky v kontrolovaném vývojovém prostředí. Produkční systémy naopak musí opakovaně zpracovávat velký objem online požadavků. Google proto pro XSE používá popis pracovního postupu „Train in Python, Serve in C++“ – tedy trénovat v Pythonu a obsluhovat model v C++.

Python zůstává ve vývoji, z produkční cesty mizí

Python se ve strojovém učení používá především jako vývojové rozhraní. Umožňuje rychle psát a upravovat trénovací kód, experimentovat s modely a navazovat na používané AI knihovny. XSE tento způsob práce nemění. Mění ale podobu cesty, kterou model projde po dokončení vývoje a před nasazením do provozu.

Google uvádí, že XLA Serving Engine už nyní obslouží více než 6 milionů dotazů za sekundu. Nástroj podle společnosti pohání některé z jejích nejvytíženějších online inferenčních pipeline, mimo jiné pro YouTube Shorts, Google Ads, Vyhledávání a části Gemini Omni. Neupřesňuje ovšem, jak je uvedených více než 6 milionů dotazů rozděleno mezi jednotlivé služby, jaké modely v těchto systémech běží ani jaká konfigurace infrastruktury se používá.

Pro vývojáře mimo Google je podstatné hlavně to, že firma zpřístupnila technologii, kterou nasazuje ve vlastních provozních řešeních. XSE má být obecně použitelným runtime pro modely v ekosystému OpenXLA, nikoli nástrojem omezeným na jednu konkrétní aplikaci Googlu.

OpenXLA sdružuje technologie pro kompilaci a provoz výpočtů souvisejících se strojovým učením. XSE do tohoto prostředí přidává produkční vrstvu určenou pro export a obsluhu modelů. Google tím nabízí vývojový postup, v němž týmy zachovají Python pro tvorbu a trénování, ale pro nasazení modelu použijí jinou běhovou vrstvu.

Licence Apache 2.0 pak umožňuje zdrojový kód používat a dále upravovat za podmínek této licence.