#142 Como mapear colunas dinâmicas no Azure Data Factory

Azure Data Factory (ADF) é um serviço de orquestração de dados na nuvem que permite criar, agendar e gerenciar pipelines de dados. Vamos abordar cada um dos tópicos mencionados:

1\. Armazenar arquivos no Azure Data Lake:

• Passo a passo:

1. Acesse o Azure Data Lake Storage Gen2 no portal do Azure.
2. Crie ou selecione um contêiner para armazenar os arquivos.
3. Faça o upload dos arquivos para o contêiner.

https://dadosabertos.mec.gov.br/pnp?start=0

• Exemplo: Você pode fazer upload de arquivos CSV, JSON, Parquet, entre outros, no Azure Data Lake Storage Gen2.

2\. Definir Variável do tipo de dados Matriz:

• Passo a passo:

1. No editor do pipeline do Azure Data Factory, clique em "Variáveis" no menu lateral.
2. Crie uma nova variável e defina o tipo como "Array".
3. Insira os valores desejados para a matriz.

• Exemplo:

{

"name": "ArrayOfValues",

"type": "Array",

"value": [

"Value1",

"Value2",

"Value3"

]

}

3\. Definir parâmetros em conjunto de dados:

• Passo a passo:

1. No editor do conjunto de dados, clique em "Parâmetros".
2. Adicione os parâmetros necessários, como nome do arquivo, caminho, etc.

• Exemplo:

{

"name": "fileName",

"type": "String"

}

4\. Extrair dados do Azure Data Lake:

• Passo a passo:

1. No editor do pipeline, adicione uma atividade de cópia.
2. Configure a fonte como o Azure Data Lake e o destino como desejado.

• Exemplo:

"source": {

"type": "AzureDataLakeStoreSource",

"storeSettings": {

"type": "AzureDataLakeStoreReadSettings",

"recursive": true

}

}

5\. Utilizar atividade de pesquisa em arquivo JSON:

• Passo a passo:

1. Adicione uma atividade de leitura de dados ao seu pipeline no Azure Data Factory.
2. Configure a fonte como o Azure Data Lake Storage ou Blob Storage onde está localizado o arquivo JSON.

1. Especifique o formato do arquivo como JSON e forneça o caminho para o arquivo JSON.
2. Configure as propriedades da atividade de acordo com suas necessidades, como filtragem de dados, projeção de colunas, etc.

• Exemplo:

"activities": [

{

"name": "ReadJSONActivity",

"type": "Copy",

"inputs": [

{

"referenceName": "AzureDataLakeStorageLinkedService",

"type": "DatasetReference",

"parameters": {

"fileName": "example.json"

}

}

],

"outputs": [

{

"referenceName": "OutputDataset",

"type": "DatasetReference"

}

],

"typeProperties": {

"source": {

"type": "JsonSource"

},

"sink": {

"type": "AzureBlobSink"

},

"enableStaging": false

}

}

]

6\. Armazenar dados no Azure SQL Database:

• Passo a passo:

1. Adicione uma atividade de cópia ao pipeline.
2. Configure a fonte como desejado e o destino como o Azure SQL Database.

• Exemplo:

"sink": {

"type": "SqlServerSink",

"writeBatchSize": 10000,

"writeBatchTimeout": "00:05:00"

}

7\. Mapear colunas utilizando o conteúdo dinâmico:

• Passo a passo:

1. Durante a configuração da atividade de cópia, mapeie as colunas usando expressões dinâmicas.

• Exemplo:

{"type": "TabularTranslator",

"mappings": [

{"source": {"name": "Ano"},"sink": {"name": "Ano"}},

{"source": {"name": "UO"},"sink": {"name": "UO"}},

{"source": {"name": "Ação"},"sink": {"name": "Ação Governo"}},

{"source": {"name": "GND"},"sink": {"name": "GND"}},

{"source": {"name": "Despesas Liquidadas"},"sink": {"name": "Liquidacoes Totais"}}

]}

Esses passos e exemplos ilustram como realizar diversas operaç

ões com Azure Data Factory, desde o armazenamento e extração de dados até o mapeamento de colunas e utilização de atividades específicas.