Como ler dados no formato JSON no Azure Synapse Analytics

Criar pipeline com atividade de copiar dados:

• No Azure Synapse Studio, crie um novo pipeline e adicione uma atividade de cópia de dados.

Configurar os dados de origem (HTTP, JSON):

• No pipeline, adicione uma fonte de dados HTTP e configure para ler dados no formato JSON.

Obter URL dos dados no site do IBGE:

• Acesse o site do IBGE (https://servicodados.ibge.gov.br/api/docs) para obter a URL dos dados a serem copiados.

Mapear o esquema dos dados de origem (IMPORT SCHEMA):

• Utilize a atividade de cópia de dados para importar o esquema dos dados de origem.

Configurar os dados de destino (DATALAKE, PARQUET):

• Adicione uma etapa de destino no pipeline, configurando o destino como um Data Lake e escolhendo o formato Parquet.

Alguns motivos para utilização do formato Parquet:

• O formato Parquet é eficiente em termos de armazenamento e oferece compressão, suporte a esquema e leitura eficiente para processamento analítico.

Executar e monitorar gatilho (TRIGGER):

• Configure e execute um gatilho para iniciar o pipeline e monitore o status da execução.

Identificar os custos da execução do pipeline (RUN CONSUMPTION):

• Analise os custos associados à execução do pipeline usando ferramentas de monitoramento e consumo do Azure.

Gerar script de leitura do arquivo formato PARQUET:

• Caso necessário, gere um script para ler dados do arquivo Parquet no ambiente desejado (por exemplo, usando Apache Spark).

Mapear as colunas de destino (MAPPING):

• No pipeline, mapeie as colunas dos dados de origem para as colunas de destino no formato Parquet no Data Lake.