Iremos conhecer as etapas:
1. Criar fluxo de dados (DATAFLOW):
- Um fluxo de dados (Data Flow) é uma operação visual e interativa no Azure Data Factory, onde você pode criar e projetar transformações de dados. Isso permite que você mova, transforme e processe dados de maneira gráfica.
2. Habilitar a visualização dos dados (DATA FLOW DEBUG):
- Ao habilitar a depuração (debug) de um fluxo de dados, você pode visualizar os dados à medida que passam por cada etapa do processo. Isso ajuda na identificação de problemas e no entendimento das transformações aplicadas.
3. Criar o conjunto de dados de origem (DATASET, SOURCE):
- Um conjunto de dados (dataset) no Azure Data Factory representa uma fonte ou destino de dados. Para criar um fluxo de dados, você precisa começar configurando um conjunto de dados de origem para indicar de onde os dados serão extraídos.
4. Adicionar a etapa de agregar valores da tabela (AGGREGATE):
- A etapa de agregação (Aggregate) no fluxo de dados é usada para realizar operações agregadas em colunas, como soma, média, contagem, etc., em dados provenientes da etapa de origem.
5. Adicionar a etapa de combinar tabelas (JOIN):
- A etapa de junção (Join) no fluxo de dados permite combinar dados de duas ou mais fontes com base em condições específicas, semelhante a uma cláusula JOIN em SQL.
6. Serviço Vinculado do Azure Blob Storage (LINK SERVICE, BLOB STORAGE):
- Um serviço vinculado (Linked Service) é uma configuração que define a conexão entre o Azure Data Factory e outros serviços, como o Azure Blob Storage. É necessário configurar um serviço vinculado para indicar onde os dados serão armazenados ou de onde serão extraídos.
7. Criar Pipeline com atividade de execução do Data Flow (PIPELINE, ACTIVITY):
- Um pipeline no Azure Data Factory é uma sequência de atividades que podem incluir fluxos de dados, transformações e outras operações. Adicione uma atividade de fluxo de dados ao pipeline para executar as transformações desejadas.
8. Executar Pipeline via Debug (PIPELINE, DEBUG):
- Ao depurar um pipeline, você pode testar sua lógica e ver os resultados sem realmente executar a atividade em um ambiente de produção.
9. Exibir resultado do fluxo de dados utilizando a visualização do Azure Blob Storage:
- Após a execução bem-sucedida do fluxo de dados, os resultados podem ser visualizados no destino configurado, como o Azure Blob Storage. Isso permite verificar se as transformações foram aplicadas corretamente.
Essas são diretrizes gerais, e os detalhes podem variar com base nas atualizações e recursos mais recentes do Azure Data Factory. Certifique-se de consultar a documentação mais recente para obter informações específicas e detalhadas.