Iremos conhecer as técnicas:
1. Obter dados da página do Banco Central do Brasil (URL de DOWNLOAD):
- Identifique a URL de download que contém os dados desejados do Banco Central do Brasil.
2. Criar no Synapse novo processo de copiar dados:
- No Azure Synapse Studio, crie um novo pipeline que represente o processo de cópia dos dados.
3. Definir a fonte de dados de origem (HTTP):
- Configure uma fonte de dados HTTP para acessar a URL de download e extrair os dados.
4. Configurar a formatação do arquivo (Delimitador da colunas):
- Especifique o formato do arquivo, incluindo o delimitador de colunas, para garantir que os dados sejam interpretados corretamente.
5. Definir a fonte de dados de destino (Azure Data Lake Gen2):
- Configure o destino dos dados, apontando para o Azure Data Lake Gen2 onde os dados serão armazenados.
6. Executar Pipeline (Gerenciador das atividades de cópia dos dados):
- Execute o pipeline para iniciar o processo de cópia dos dados da fonte para o destino.
7. Obter a URL do arquivo no Azure Datalake:
- Após a conclusão da cópia, obtenha a URL do arquivo no Azure Data Lake Gen2.
8. Utilizar Script T-SQL para análise dos dados:
- No Azure Synapse Studio, use um script T-SQL para realizar análises nos dados recém-copiados.
9. Definir o formato dos dados para UTF-8:
- Se necessário, defina o formato dos dados para UTF-8 para garantir a correta interpretação de caracteres especiais.
10. Calcular a média móvel das cotações do dólar (AVG, OVER):
- Utilize funções de janela como AVG(OVER) para calcular a média móvel das cotações do dólar.
11. Converter o tipo de dados (CONVERT, SUBSTRING, NUMERIC):
- Se necessário, converta o tipo de dados de colunas usando funções como CONVERT, SUBSTRING, ou NUMERIC.
12. Visualizar o resultado em gráfico para análise Golden Cross/Death Cross:
- Utilize recursos de visualização no Azure Synapse Studio para criar gráficos que ajudem na análise de eventos como Golden Cross/Death Cross.
Esses passos descrevem um fluxo que vai desde a obtenção de dados da web até a análise desses dados no Azure Synapse Analytics, incluindo o armazenamento intermédio no Azure Data Lake Gen2 e o uso de scripts T-SQL para manipulação e análise. Detalhes específicos podem variar com base nos requisitos e nos dados disponíveis no Banco Central do Brasil.