Iremos conhecer as técnicas:
1\. Enviar arquivos do seu computador para Azure Data Lake (UPLOAD):
- Use o Azure Portal, Azure Storage Explorer ou ferramentas de linha de comando como o Azure CLI para carregar arquivos para o Azure Data Lake.
2\. Criar script automaticamente de leitura de arquivo CSV (OPENROWSET):
- Utilize OPENROWSET para ler dados de um arquivo CSV no Azure Synapse Analytics.
SELECT *
FROM OPENROWSET(
BULK 'adl://seu-data-lake.azuredatalakestore.net/Caminho/Para/Arquivo.csv',
FORMAT='CSV',
PARSER_VERSION='2.0'
) AS resultado;
3\. Definir caracter de separação de coluna (FIELDTERMINATOR):
- Ao criar scripts para ler arquivos CSV, você pode definir o FIELDTERMINATOR para especificar o caractere de separação.
SELECT *
FROM OPENROWSET(
BULK 'Caminho/Para/Arquivo.csv',
FORMAT='CSV',
PARSER_VERSION='2.0',
FIELDTERMINATOR = ','
) AS resultado;
4\. Definir primeira linha como cabeçalho (HEADER\_ROW):
- Caso seu arquivo CSV tenha um cabeçalho, utilize HEADER\_ROW para indicar que a primeira linha contém nomes de colunas.
SELECT *
FROM OPENROWSET(
BULK 'Caminho/Para/Arquivo.csv',
FORMAT='CSV',
PARSER_VERSION='2.0',
HEADER_ROW = TRUE
) AS resultado;
5\. Monitorar a quantidade de dados processados:
- Utilize as métricas e ferramentas de monitoramento disponíveis no Azure Portal para acompanhar o processamento de dados.
6\. Limitar a quantidade de dados processados por período:
- Pode-se implementar limites na consulta ou na execução do pipeline para controlar o volume de dados processados em determinados intervalos de tempo.
7\. Enviar arquivos do seu computador pelo software Azure Storage Explorer:
- Use o Azure Storage Explorer para transferir arquivos entre seu computador e o Azure Storage, incluindo o Azure Data Lake.
8\. Definir formato de texto para UTF-8 (COLLATE):
- Ao ler dados, você pode especificar COLLATE para definir o formato de texto, como UTF-8
.
SELECT *
FROM OPENROWSET(
BULK 'Caminho/Para/Arquivo.csv',
FORMAT='CSV',
PARSER_VERSION='2.0',
COLLATE='Latin1_General_100_CI_AS_SC_UTF8'
) AS resultado;
9\. Exibir e salvar o resultado dos dados em gráfico:
- Use ferramentas de visualização, como Power BI, para exibir e salvar visualizações gráficas dos dados processados.
Esses passos ilustram como enviar, processar e visualizar dados no contexto do Azure Synapse Analytics, incluindo a leitura de arquivos CSV, monitoramento e limitação do processamento de dados.