Como executar Pipeline em Loop no Azure Data Factory

Iremos conhecer as técnicas:

1. Criar Parâmetro do Pipeline (PARAMETERS, TYPE, STRING):

• No Azure Data Factory, os parâmetros do pipeline são valores que podem ser usados para parametrizar uma série de propriedades em atividades dentro de um pipeline. Ao criar um parâmetro, você especifica um nome, tipo de dado e, opcionalmente, um valor padrão. Exemplo:

  "parameters": {
      "ExemploParametro": {
          "type": "String",
          "defaultValue": "ValorPadrao"
      }
  }
  

2. Adicionar Conteúdo Dinâmico (RELATIVE URL, DYNAMIC CONTENT):

• Conteúdo dinâmico no Azure Data Factory refere-se à capacidade de incluir valores dinâmicos em propriedades, como URLs. No contexto de uma atividade HTTP, por exemplo, você pode usar conteúdo dinâmico em uma propriedade relativeUrl. Exemplo:

  "relativeUrl": {
      "value": "@{pipeline().parameters.ExemploParametro}",
      "type": "Expression"
  }
  

3. Criar Variável do Pipeline (VARIABLES, TYPE, ARRAY):

• Variáveis no Azure Data Factory permitem armazenar valores temporários durante a execução de um pipeline. Ao criar uma variável, você especifica um nome, tipo de dado e escopo (pipeline ou atividade). Exemplo:

  "variables": {
      "ExemploVariavel": {
          "type": "Array"
      }
  }
  

4. Executar Pipeline em Loop (FOREACH ACTIVITY, INVOKED PIPELINE):

• O Azure Data Factory suporta loops por meio da atividade ForEach. Essa atividade permite iterar sobre um conjunto de itens, executando um pipeline para cada item. O pipeline invocado pode utilizar parâmetros ou variáveis para processar dados específicos em cada iteração. Exemplo:

  "activities": [
      {
          "name": "AtividadeForeach",
          "type": "ForEach",
          "foreach": "@pipeline().parameters.ItensParaIterar",
          "activities": [
              {
                  "name": "PipelineInvocado",
                  "type": "ExecutePipeline",
                  "parameters": {
                      "ExemploParametro": "@item()"
                  }
              }
          ]
      }
  ]
  

Esses conceitos no Azure Data Factory fornecem flexibilidade e dinamismo ao criar e executar pipelines, permitindo a adaptação a diferentes cenários e requisitos.