Apache Arrow zjednoduší sdílení velkých dat různých systémů



Organizace Apache Software Foundation spustila nový projekt zaměřený na sjednocení prezentace velkých dat v rámci vnitropaměťových výpočtů různých systémů. Nese jméno Arrow, spolupracuje na něm třináct vývojových komunit a prostřednictvím jednotné komunikační nebo prezentační vrstvy má zjednodušit a zrychlit sdílení dat mezi různými systémy.

Analytické úlohy, na kterých se podílí více systémů pro zpracování velkých dat, sdílejí výstupy za doprovodu výpočetně náročných úprav, konverzí datových formátů. Podle zástupců Apache Foundation na ně připadá až 80 procent procesorového času. Nově zahájený projekt Arrow má prostřednictvím jednotné datové prezentační vrstvy až stonásobně urychlit zpracování distribuovaných analytických úloh.

Základem projektu se stal kód ze sesterského pracovního rámce Apache Drill. Ten podporuje datově intenzivní distribuované aplikace pro interaktivní analýzy rozsáhlých datových sad. Dokáže zapojit deset tisíc a více serverů.  Arrow se v podobě nejvyšší datové vrstvy zaměří na sjednocení prezentace sloupcových vnitropaměťových dat z různých systémů. Ty využívají vlastní nekompatibilní formáty, ale principem práce s daty ve sloupcích se povětšinou příliš neodlišují. V praxi bude Arrow redukovat nadbytečnou komunikaci různých systémů, které se na realizaci výpočtů podílejí. Jinými slovy: nebude třeba kopírovat a konvertovat výstupy.

Projekt Arrow nemá za cíl vytvořit nový engine pro zpracování nebo ukládání dat. Ve výsledku půjde o sadu formátů a algoritmů pro práci s hierarchizovanými sloupcovými daty, které doplní příslušné nástroje pro jazyky Java, Python, C a C++. Na projektu spolupracují komunity sdružené kolem řešení Calcite, Cassandra, Drill, Hadoop, HBase, Ibis, Impala, Kudu, Pandas, Parquet, Phoenix, Spark a Storm. Poté, co jejich systémy integrují prezentační vrstvu Arrow, dokáží sdílet data bez náročné a zbytečné komunikace, resp. konverzí.

 


(18. 2. 2016 | Lukas_Kriz)

Facebook Twitter
Komentáře, názory a rady

Zatím sem nikdo nevložil žádný komentář. Buďte první...

>>> Číst a vkládat komentáře <<<

NOVINKA: Pozoruhodné IT produkty 2019 podruhé
Ani tentokrát si nenechte ujít produkty, které vám mohou pomoci ve vaší práci v IT.

Pozoruhodné IT produkty pro rok 2019
Náš první letošní seznam zajímavých produktů, které byste určitě neměli minout






Články čtenářů

Pomalý notebook HP s Windows 10 - a ...


Jestli máte trable s pomalým počítačem od HP (nebo i od jiné velké značky), tak jste na tom stejně, jako jsem ještě před pár hodinami byl já. Zkoušel jsem řadu osvěd...

Slow HP Windows 10 notebook - and wh...


If you have trouble with a slow computer from HP (or even another big brand), you've the same problem I had a few hours ago. I tried a number of proven recipes, but ...

Komentáře čtenářů

TBW
Dobrý den. Koukám že váš článek je z roku 2016. Dnes je rok 2019 a situace může být odlišná. Můj dotaz z...>>
Podnikání na youtube
Zdravím, měl bych pár dotazů týkajících se podnikání na youtube. Četl jsem na http://techhity.cz/media/j...>>
Zdá se mi to nebezpečné
Přijde mi to už docela nebezpečné, že půjde platit i prostřednictvím televize. Ale pokrok nezastavíme. C...>>


©2011-2019 BusinessIT.cz, ISSN 1805-0522 | Názvy použité v textech mohou být ochrannými známkami příslušných vlastníků.
Provozovatel: Bispiral, s.r.o., kontakt: BusinessIT(at)Bispiral.com | Inzerce: Best Online Media, s.r.o., zuzana@online-media.cz
Používáme účetní program Money S3
O vydavateli | Pravidla webu BusinessIT.cz a ochrana soukromí | pg(3909)