Automating the creation of DAGs using Jinja and YAML

Automatizando a criação de DAGs no Airflow usando Jinja e YAML

Pastas por contexto de negócio (ex: Marketing, Analytics, HR, etc), dentro da pasta contexts/;
- Dentro de cada pasta, temos os YAMLs com as regras da criação da DAG, sendo 1 YAML = 1 DAG;
Pasta de templates, uma vez que possuímos diversos operators, gerando a necessidade de diversos templates
Pasta com os scripts para criação de DAGs

A pessoa adiciona/atualiza o arquivo YAML com todas as informações necessárias para criar a DAG (
para isso veja o CONTEXTS_README presente na pasta contexts/
)
O script scripts/convert_yaml_in_dag.py precisa ser executado, passando qual o nome
do YAML, e ele fará a conversão para uma DAG.

contexts/: Pasta onde ficam armazenados os YAMLs por contexto da empresa.
Dentro dessa pasta há um README explicando os padrões de criação dos YAMLs
templates/: Pasta onde ficam os arquivos .template, que são as bases para o Jinja criar as DAGs.
- temos o arquivo dag.template
- temos os operators já adicionados via template
- temos um README com os operators já adicionados
scripts/ : Scripts tanto para transformar YAML em DAG, quanto para validar se o YAML está correto
- yml_converter.py: Responsável por criar DAGs a partir do YAML
dags/: Pasta padrão do airflow, pode ficar nesse repositório ou em outro, ou até em outra branch.

Automatizar a execução do script convert_yaml_in_dag.py
Generalizar o script acima, para mais opções de contextos, criando um input recebendo isto
Implementar testes na estrutura dos YAMLs. Uma sugestão é usar a lib cerberus
Implementar CI para os testes. Uma sugestão é usar o proprio github_actions