Como ler dados em arquivo CSV no Azure Synapse Analytics

Iremos conhecer as técnicas:

1. Enviar arquivos do seu computador para Azure Data Lake (UPLOAD):

• Use o Azure Portal, Azure Storage Explorer ou ferramentas de linha de comando como o Azure CLI para carregar arquivos para o Azure Data Lake.

2. Criar script automaticamente de leitura de arquivo CSV (OPENROWSET):

• Utilize OPENROWSET para ler dados de um arquivo CSV no Azure Synapse Analytics.

  SELECT *
  FROM OPENROWSET(
   BULK 'adl://seu-data-lake.azuredatalakestore.net/Caminho/Para/Arquivo.csv',
   FORMAT='CSV',
   PARSER_VERSION='2.0'
  ) AS resultado;
  

3. Definir caracter de separação de coluna (FIELDTERMINATOR):

• Ao criar scripts para ler arquivos CSV, você pode definir o FIELDTERMINATOR para especificar o caractere de separação.

  SELECT *
  FROM OPENROWSET(
   BULK 'Caminho/Para/Arquivo.csv',
   FORMAT='CSV',
   PARSER_VERSION='2.0',
   FIELDTERMINATOR = ','
  ) AS resultado;
  

4. Definir primeira linha como cabeçalho (HEADER_ROW):

• Caso seu arquivo CSV tenha um cabeçalho, utilize HEADER_ROW para indicar que a primeira linha contém nomes de colunas.

  SELECT *
  FROM OPENROWSET(
   BULK 'Caminho/Para/Arquivo.csv',
   FORMAT='CSV',
   PARSER_VERSION='2.0',
   HEADER_ROW = TRUE
  ) AS resultado;
  

5. Monitorar a quantidade de dados processados:

• Utilize as métricas e ferramentas de monitoramento disponíveis no Azure Portal para acompanhar o processamento de dados.

6. Limitar a quantidade de dados processados por período:

• Pode-se implementar limites na consulta ou na execução do pipeline para controlar o volume de dados processados em determinados intervalos de tempo.

7. Enviar arquivos do seu computador pelo software Azure Storage Explorer:

• Use o Azure Storage Explorer para transferir arquivos entre seu computador e o Azure Storage, incluindo o Azure Data Lake.

8. Definir formato de texto para UTF-8 (COLLATE):

• Ao ler dados, você pode especificar COLLATE para definir o formato de texto, como UTF-8.

  SELECT *
  FROM OPENROWSET(
   BULK 'Caminho/Para/Arquivo.csv',
   FORMAT='CSV',
   PARSER_VERSION='2.0',
   COLLATE='Latin1_General_100_CI_AS_SC_UTF8'
  ) AS resultado;
  

9. Exibir e salvar o resultado dos dados em gráfico:

• Use ferramentas de visualização, como Power BI, para exibir e salvar visualizações gráficas dos dados processados.

Esses passos ilustram como enviar, processar e visualizar dados no contexto do Azure Synapse Analytics, incluindo a leitura de arquivos CSV, monitoramento e limitação do processamento de dados.