Účelom Luigi je riešiť všetky inštalačné práce, ktoré sú zvyčajne spojené s dlhodobými dávkovými procesmi.Chcete reťaziť veľa úloh, automatizovať ich a vyskytnú sa chyby.Tieto úlohy môžu byť čokoľvek, ale zvyčajne ide o dlhodobo bežiace úlohy, ako napríklad úlohy Hadoop, ukladanie údajov do / z databáz, spúšťanie algoritmov strojového učenia alebo čokoľvek iné.Existujú aj ďalšie softvérové ​​balíky, ktoré sa zameriavajú na aspekty spracovania údajov na nižšej úrovni, napríklad Hive, Pig alebo Cascading.Luigi nie je rámcom, ktorý by ich nahradil.Namiesto toho vám pomôže spojiť mnoho úloh naraz, pričom každá úloha môže byť dotazom Úľ, úloha Hadoop v Java, úloha Spark v Scale alebo Python, útržok Pythonu, vyhodenie tabuľky z databázy alebo čokoľvek iné.Je ľahké vybudovať dlhodobé plynovody, ktoré pozostávajú z tisícok úloh a dokončenie trvá niekoľko dní alebo týždňov.Luigi sa stará o veľa riadenia pracovných postupov, takže sa môžete zamerať na samotné úlohy a ich závislosti .... Môžete si zostaviť takmer akúkoľvek úlohu, ktorú chcete, ale Luigi tiež prichádza s balíkom nástrojov z niekoľkých bežných šablón úloh, ktorépoužiť.Zahŕňa podporu pre spúšťanie úloh Python mapreduce v Hadoop, ako aj úlohy Hive a Pig.Dodáva sa tiež s abstrakciami súborového systému pre HDFS a lokálnymi súbormi, ktoré zaisťujú, že všetky operácie súborového systému sú atómové.Je to dôležité, pretože to znamená, že váš dátový kanál sa nezrolí v stave obsahujúcom čiastočné údaje.