Syftet med Luigi är att hantera alla VVS-typer som vanligtvis är förknippade med långa processer.Du vill kedja många uppgifter, automatisera dem och fel kommer att hända.Dessa uppgifter kan vara vad som helst, men är vanligtvis långkörda saker som Hadoop-jobb, dumpning av data till / från databaser, körning av maskininlärningsalgoritmer eller något annat.Det finns andra programvarupaket som fokuserar på lägre nivåer av databehandling, som Hive, Pig eller Cascading.Luigi är inte ett ramverk för att ersätta dessa.Istället hjälper det dig att sammanfoga många uppgifter, där varje uppgift kan vara en Hive-fråga, ett Hadoop-jobb i Java, ett gnistajobb i Scala eller Python, ett Python-utdrag, dumpa ett bord från en databas eller något annat.Det är enkelt att bygga upp långa rörledningar som innehåller tusentals uppgifter och tar dagar eller veckor att slutföra.Luigi tar hand om en hel del av arbetsflödeshanteringen så att du kan fokusera på själva uppgifterna och deras beroenden .... Du kan bygga nästan alla uppgifter du vill, men Luigi kommer också med en verktygslåda med flera vanliga uppgiftsmallar som duanvända sig av.Det inkluderar stöd för att köra Python mapreduce-jobb i Hadoop samt Hive och Pig-jobb.Det kommer också med filsystemabstraktioner för HDFS och lokala filer som säkerställer att alla filsystemoperationer är atomära.Detta är viktigt eftersom det betyder att din datapipeline inte kraschar i ett tillstånd som innehåller partiell data.