Iremos conhecer as técnicas:
1. Criar Fluxo de dados Power Query (DATAFLOW):
- No Azure Data Factory, um Fluxo de Dados Power Query (ou Dataflow) é uma sequência de transformações de dados construída no ambiente Power Query. Ele é usado para preparar e transformar dados antes de serem carregados em destinos finais.
2. Adicionar os conjuntos de dados (DATASET):
- Dentro do Fluxo de Dados Power Query, você adiciona conjuntos de dados (Datasets) que representam as fontes ou destinos dos seus dados. Cada Dataset pode conter conexões a fontes externas.
3. Alterar a consulta do usuário (USER QUERY):
- O Power Query permite que os usuários modifiquem e ajustem a consulta para atender às suas necessidades específicas de transformação de dados. Isso é feito na fase de User Query.
4. Exibir Diagrama das etapas (DIAGRAM VIEW):
- A Diagram View permite visualizar as etapas de transformação no Fluxo de Dados Power Query em um formato de diagrama, proporcionando uma visão gráfica da lógica de transformação.
5. Remover colunas existentes (REMOVE OTHER COLUMNS):
- Para simplificar o conjunto de dados, você pode usar a transformação "Remove Other Columns" para excluir todas as colunas, exceto aquelas selecionadas, facilitando o foco nas informações relevantes.
6. Combinar valores das tabelas (MERGE):
- A operação de Merge permite combinar valores de duas ou mais tabelas com base em critérios específicos, como chaves.
7. Agregar valores de tabelas (GROUP BY, COUNT, SUM):
- A transformação "Group By" é utilizada para agregar valores de tabelas. Pode incluir operações como contar (COUNT) ou somar (SUM) para criar resumos.
8. Criar o Pipeline e adicionar a atividade Power Query:
- No Azure Data Factory, você cria um Pipeline e adiciona uma atividade Power Query para orquestrar a execução do Fluxo de Dados Power Query.
9. Definir conjunto de dados de destino (SINK):
- A transformação "Sink" é usada para definir o destino dos dados após a conclusão das transformações. Pode ser um banco de dados, um arquivo, ou outra fonte.
10. Salvar os dados em apenas um arquivo de saída (FILE NAME OPTION):
- A opção "File Name" permite definir como os arquivos de saída são nomeados durante a execução do Fluxo de Dados Power Query, facilitando o gerenciamento dos resultados.
11. Executar o Pipeline utilizando o Runtime padrão:
- Ao executar o Pipeline, o Fluxo de Dados Power Query é acionado, realizando as transformações definidas e carregando os dados no destino configurado.
12. Exibir resultado utilizando a visualização do Azure Blob Storage:
- Após a execução do Fluxo de Dados, você pode visualizar os resultados no Azure Blob Storage, onde os dados podem ser armazenados.
O Azure Data Factory com Power Query proporciona uma solução eficaz para a preparação e transformação de dados em ambientes de nuvem, permitindo a orquestração de fluxos de dados e a execução de operações de ETL (Extract, Transform, Load) de forma flexível e escalável.