Apache Airflow

Apache Airflow

Airflow är en plattform för att programmera författare, schemaläggning och övervakning av dataledningar.
Airflow är en plattform för att programmera författare, schemaläggning och övervakning av dataledningar.Använd Airflow för att skapa arbetsflöden som riktade acykliska diagram (DAG) för uppgifter.Airflow-schemaläggaren utför dina uppgifter på en mängd arbetare medan du följer de angivna beroenden.Rika verktyg för kommandorader gör det snabbt att utföra komplexa operationer på DAG.Det rika användargränssnittet gör det enkelt att visualisera rörledningar som körs i produktion, övervaka framsteg och felsöka problem vid behov .... Principer Dynamisk: Luftflödesledningar är konfiguration som kod (Python), vilket möjliggör dynamisk rörledningsgenerering.Detta möjliggör skrivningskod som dynamiserar rörledningar dynamiskt.Utdragbar: Definiera enkelt dina egna operatörer, körare och utöka biblioteket så att det passar den nivå av abstraktion som passar din miljö.Elegant: Luftflödesledningar är magra och tydliga.Parameterisering av dina skript är byggd i kärnan i luftflödet med kraftfull Jinja-mall.Skalbar: Airflow har en modulär arkitektur och använder en meddelandekö för att prata med att orkestrera ett godtyckligt antal arbetare.Luftflödet är redo att skala till oändlighet.

Alternativ till Apache Airflow för Web med gratis licens