Luigi

Luigi

Účelom Luigi je riešiť všetky inštalačné práce, ktoré sú zvyčajne spojené s dlhodobými dávkovými procesmi.Chcete reťaziť veľa úloh, automatizovať ich a vyskytnú sa chyby.Tieto úlohy môžu byť čokoľvek, ale zvyčajne ide o dlhodobo bežiace úlohy, ako napríklad úlohy Hadoop, ukladanie údajov do / z databáz, spúšťanie algoritmov strojového učenia alebo čokoľvek iné.Existujú aj ďalšie softvérové ​​balíky, ktoré sa zameriavajú na aspekty spracovania údajov na nižšej úrovni, napríklad Hive, Pig alebo Cascading.Luigi nie je rámcom, ktorý by ich nahradil.Namiesto toho vám pomôže spojiť mnoho úloh naraz, pričom každá úloha môže byť dotazom Úľ, úloha Hadoop v Java, úloha Spark v Scale alebo Python, útržok Pythonu, vyhodenie tabuľky z databázy alebo čokoľvek iné.Je ľahké vybudovať dlhodobé plynovody, ktoré pozostávajú z tisícok úloh a dokončenie trvá niekoľko dní alebo týždňov.Luigi sa stará o veľa riadenia pracovných postupov, takže sa môžete zamerať na samotné úlohy a ich závislosti .... Môžete si zostaviť takmer akúkoľvek úlohu, ktorú chcete, ale Luigi tiež prichádza s balíkom nástrojov z niekoľkých bežných šablón úloh, ktorépoužiť.Zahŕňa podporu pre spúšťanie úloh Python mapreduce v Hadoop, ako aj úlohy Hive a Pig.Dodáva sa tiež s abstrakciami súborového systému pre HDFS a lokálnymi súbormi, ktoré zaisťujú, že všetky operácie súborového systému sú atómové.Je to dôležité, pretože to znamená, že váš dátový kanál sa nezrolí v stave obsahujúcom čiastočné údaje.
luigi

Kategórie

Alternatívy programu Luigi pre Linux

Apache Airflow

Apache Airflow

Airflow je platforma na programové vytváranie, plánovanie a monitorovanie dátových potrubí.
StackStorm

StackStorm

StackStorm je výkonná platforma s otvoreným zdrojom, ktorá spája všetky vaše aplikácie, služby a pracovné toky.Je rozšíriteľná, flexibilná a postavená s láskou k DevOps a ChatOps.
ProActive Workflows & Scheduling

ProActive Workflows & Scheduling

ProActive Workflows & Scheduling vám umožňuje ľahko vykonávať všetky vaše firemné úlohy a obchodné aplikácie, monitorovať aktivitu a rýchlo pristupovať k výsledkom úloh.