Domande taggate «airflow-scheduler»

1
Lo scheduler del flusso d'aria non si avvia con l'esecutore di kubernetes
Sto usando https://github.com/helm/charts/tree/master/stable/airflow helm chart e costruendo l' puckle/docker-airflowimmagine v1.10.8 con kubernetes installato su di essa e usando quell'immagine nella helm chart, ma continuo a ricevere File "/usr/local/bin/airflow", line 37, in <module> args.func(args) File "/usr/local/lib/python3.7/site-packages/airflow/bin/cli.py", line 1140, in initdb db.initdb(settings.RBAC) File "/usr/local/lib/python3.7/site-packages/airflow/utils/db.py", line 332, in initdb dagbag = models.DagBag() File …

1
Come attivare un'attività Airflow solo quando nuove partizioni / dati sono disponibili nella tabella AWS athena usando DAG in Python?
Ho uno scenerio come un sotto: Attiva a Task 1e Task 2solo quando sono disponibili nuovi dati nella tabella di origine (Athena). Il trigger per Task1 e Task2 dovrebbe avvenire quando una nuova partizione di dati in un giorno. Trigger Task 3solo al completamento di Task 1eTask 2 Attiva Task …
Utilizzando il nostro sito, riconosci di aver letto e compreso le nostre Informativa sui cookie e Informativa sulla privacy.
Licensed under cc by-sa 3.0 with attribution required.