Iremos conhecer as técnicas:
1. Visualizar os arquivos do Azure Blob Storage (STORAGE ACCOUNT, CONTAINER, XML FILE):
- No Azure Data Factory, você pode visualizar os arquivos no Azure Blob Storage, que é um serviço de armazenamento de objetos. Isso envolve a criação de uma conta de armazenamento (STORAGE ACCOUNT), contêineres (CONTAINER) para organizar os arquivos e o acesso aos arquivos, que podem incluir arquivos XML.
2. Enviar arquivos para a conta do Azure Blob Storage (UPLOAD, AZURE STORAGE EXPLORER):
- Arquivos podem ser enviados para a conta do Azure Blob Storage usando métodos como o processo de upload ou ferramentas como o Azure Storage Explorer, que oferece uma interface gráfica para gerenciar o armazenamento no Azure.
3. Criar Serviço Vinculado para conta Azure Blob Storage (LINKED SERVICE, BLOB STORAGE):
- Um Serviço Vinculado (LINKED SERVICE) é criado para conectar o Azure Data Factory à conta de armazenamento do Azure Blob (BLOB STORAGE), fornecendo as informações de autenticação e configuração necessárias.
4. Criar pipeline para copiar os dados da origem ao destino (PIPELINE, ACTIVITY, COPY DATA):
- Um Pipeline é criado para orquestrar o processo de cópia de dados. Dentro do Pipeline, uma atividade de cópia de dados (COPY DATA) é configurada para mover dados da origem para o destino.
5. Conectar conjunto de dados de arquivo XML acessando o Blob Storage (DATASET, SOURCE):
- Um Conjunto de Dados (DATASET) é configurado para representar o arquivo XML como fonte de dados. A fonte (SOURCE) é então configurada para acessar o Blob Storage.
6. Ler vários arquivos XML utilizando caminho dinâmico por coringa (DATASET, WILDCARD):
- O Conjunto de Dados pode ser configurado para ler vários arquivos XML usando um caminho dinâmico por coringa. Isso permite a leitura de múltiplos arquivos que atendem a determinados padrões de nomenclatura.
7. Selecionar a fonte de dados de destino (DATASET, SINK, SQL DATABASE):
- Um segundo Conjunto de Dados é configurado como destino (SINK) para os dados copiados, podendo representar um banco de dados SQL (SQL DATABASE) como destino.
8. Definir criação automática da tabela de destino (AUTO CREATE TABLE):
- Pode-se optar por configurar a criação automática da tabela de destino, onde a estrutura da tabela no destino é automaticamente ajustada com base nos dados de origem.
9. Mapeamento das colunas (MAPPING, IMPORT SCHEMAS):
- O mapeamento das colunas entre a fonte e o destino é definido para garantir que os dados sejam movidos corretamente. Importar esquemas (IMPORT SCHEMAS) pode ajudar a simplificar esse processo.
10. Executar pipeline por gatilho (TRIGGER NOW):
- O Pipeline pode ser executado manualmente ou por meio de um gatilho (TRIGGER), sendo possível iniciar o processo imediatamente.
11. Visualizar os dados na ferramenta SSMS (SQL QUERY):
- Os dados movidos para o banco de dados SQL podem ser visualizados na ferramenta SQL Server Management Studio (SSMS) usando consultas SQL.
O Azure Data Factory oferece uma abordagem flexível e escalável para orquestrar e realizar operações de movimentação e transformação de dados em ambientes de nuvem, permitindo integração eficaz entre fontes e destinos de dados diversos.