Apache Airflow

Apache Airflow

O Airflow é uma plataforma para criar, programar e monitorar programaticamente pipelines de dados.
O Airflow é uma plataforma para criar, programar e monitorar programaticamente pipelines de dados.Use o Airflow para criar fluxos de trabalho como gráficos acíclicos direcionados (DAGs) de tarefas.O planejador de fluxo de ar executa suas tarefas em uma matriz de trabalhadores enquanto segue as dependências especificadas.Os utilitários avançados de linhas de comando facilitam a execução de cirurgias complexas nos DAGs.A rica interface do usuário facilita a visualização de pipelines em execução na produção, monitora o progresso e soluciona problemas quando necessário. Princípios Dinâmicos: Os pipelines de fluxo de ar são configurados como código (Python), permitindo a geração dinâmica de pipeline.Isso permite a gravação de código que instancia pipelines dinamicamente.Extensível: defina facilmente seus próprios operadores, executores e estenda a biblioteca para que ela se ajuste ao nível de abstração adequado ao seu ambiente.Elegante: os gasodutos de fluxo de ar são enxutos e explícitos.A parametrização de seus scripts é construída no núcleo do Airflow usando o poderoso mecanismo de modelagem Jinja.Escalável: o fluxo de ar possui uma arquitetura modular e usa uma fila de mensagens para conversar para orquestrar um número arbitrário de trabalhadores.O fluxo de ar está pronto para escalar até o infinito.

Local na rede Internet:

Alternativas ao Apache Airflow para Clever Cloud

Zenaton

Zenaton

Um criador de fluxo de trabalho para desenvolvedores.Crie processos orientados a eventos em dias, em vez de meses.