Como mapear colunas dinâmicas no Azure Data Factory

Azure Data Factory (ADF) é um serviço de orquestração de dados na nuvem que permite criar, agendar e gerenciar pipelines de dados. Vamos abordar cada um dos tópicos mencionados:

1. Armazenar arquivos no Azure Data Lake:

• Passo a passo:
  1. Acesse o Azure Data Lake Storage Gen2 no portal do Azure.
  2. Crie ou selecione um contêiner para armazenar os arquivos.
  3. Faça o upload dos arquivos para o contêiner.

https://dadosabertos.mec.gov.br/pnp?start=0

• Exemplo: Você pode fazer upload de arquivos CSV, JSON, Parquet, entre outros, no Azure Data Lake Storage Gen2.

2. Definir Variável do tipo de dados Matriz:

• Passo a passo:

  1. No editor do pipeline do Azure Data Factory, clique em "Variáveis" no menu lateral.
  2. Crie uma nova variável e defina o tipo como "Array".
  3. Insira os valores desejados para a matriz.

• Exemplo:

  {
      "name": "ArrayOfValues",
      "type": "Array",
      "value": [
          "Value1",
          "Value2",
          "Value3"
      ]
  }
  

3. Definir parâmetros em conjunto de dados:

• Passo a passo:

  1. No editor do conjunto de dados, clique em "Parâmetros".
  2. Adicione os parâmetros necessários, como nome do arquivo, caminho, etc.

• Exemplo:

  {
      "name": "fileName",
      "type": "String"
  }
  

4. Extrair dados do Azure Data Lake:

• Passo a passo:

  1. No editor do pipeline, adicione uma atividade de cópia.
  2. Configure a fonte como o Azure Data Lake e o destino como desejado.

• Exemplo:

  "source": {
      "type": "AzureDataLakeStoreSource",
      "storeSettings": {
          "type": "AzureDataLakeStoreReadSettings",
          "recursive": true
      }
  }
  

5. Utilizar atividade de pesquisa em arquivo JSON:

• Passo a passo:

  1. Adicione uma atividade de leitura de dados ao seu pipeline no Azure Data Factory.
  2. Configure a fonte como o Azure Data Lake Storage ou Blob Storage onde está localizado o arquivo JSON.
  3. Especifique o formato do arquivo como JSON e forneça o caminho para o arquivo JSON.
  4. Configure as propriedades da atividade de acordo com suas necessidades, como filtragem de dados, projeção de colunas, etc.

• Exemplo:

  "activities": [
      {
          "name": "ReadJSONActivity",
          "type": "Copy",
          "inputs": [
              {
                  "referenceName": "AzureDataLakeStorageLinkedService",
                  "type": "DatasetReference",
                  "parameters": {
                      "fileName": "example.json"
                  }
              }
          ],
          "outputs": [
              {
                  "referenceName": "OutputDataset",
                  "type": "DatasetReference"
              }
          ],
          "typeProperties": {
              "source": {
                  "type": "JsonSource"
              },
              "sink": {
                  "type": "AzureBlobSink"
              },
              "enableStaging": false
          }
      }
  ]
  

6. Armazenar dados no Azure SQL Database:

• Passo a passo:

  1. Adicione uma atividade de cópia ao pipeline.
  2. Configure a fonte como desejado e o destino como o Azure SQL Database.

• Exemplo:

  "sink": {
      "type": "SqlServerSink",
      "writeBatchSize": 10000,
      "writeBatchTimeout": "00:05:00"
  }
  

7. Mapear colunas utilizando o conteúdo dinâmico:

• Passo a passo:

  1. Durante a configuração da atividade de cópia, mapeie as colunas usando expressões dinâmicas.

• Exemplo:

  {"type": "TabularTranslator",
  "mappings": [
    {"source": {"name": "Ano"},"sink": {"name": "Ano"}},
    {"source": {"name": "UO"},"sink": {"name": "UO"}},
    {"source": {"name": "Ação"},"sink": {"name": "Ação Governo"}},
    {"source": {"name": "GND"},"sink": {"name": "GND"}},
    {"source": {"name": "Despesas Liquidadas"},"sink": {"name": "Liquidacoes Totais"}}
  ]}
  

Esses passos e exemplos ilustram como realizar diversas operações com Azure Data Factory, desde o armazenamento e extração de dados até o mapeamento de colunas e utilização de atividades específicas.