Iremos conhecer as técnicas:
1. Listar registros de intervalo de datas dinâmicas (LOOKUP ACTIVITY, SQL QUERY):
- Use a atividade Lookup para obter dinamicamente um intervalo de datas e, em seguida, utilize uma consulta SQL para listar os registros associados.
2. Criar conjunto de dados de pesquisa on-premises (SOURCE, DATASET, LINKED SERVICE, SELF-HOSTED):
- Configure um conjunto de dados usando um serviço vinculado local (self-hosted) para pesquisa on-premises.
3. Criar parâmetros para definir valores padrões ao conteúdo dinâmico (PARAMETERS, STRING TYPE, DEFAULT VALUE):
- Defina parâmetros no Data Factory, especificando valores padrão para conteúdo dinâmico. Isso pode incluir parâmetros de string com valores padrão.
4. Adicionar conteúdo dinâmico ao código SQL (DYNAMIC CONTENT, PARAMETERS):
- Integre conteúdo dinâmico, como parâmetros, diretamente no código SQL usando a funcionalidade Dynamic Content no Data Factory.
5. Interação em loop para copiar os dados da internet a cada data encontrada (FOREACH, DATASET, LINKED SERVICE, HTTP, DELIMITED TEXT):
- Utilize um loop Foreach para iterar sobre um conjunto de datas e, dentro dele, copie dados da internet utilizando conjuntos de dados, serviços vinculados e atividades HTTP.
6. Alterar delimitador de coluna (COLUMN DELIMITER, DATASET):
- Se necessário, altere o delimitador de coluna no conjunto de dados para lidar com diferentes formatos de arquivo, como Delimited Text.
7. Selecionar conjunto de dados de destino (SINK, SQL SERVER DATABASE, ON-PREMISES):
- Escolha o conjunto de dados de destino, como um banco de dados SQL Server on-premises, configurando o destino (Sink) da cópia de dados.
8. Mapeamento das colunas (MAPPING, IMPORT SCHEMAS):
- Faça o mapeamento adequado das colunas entre o conjunto de dados de origem e o de destino, usando a funcionalidade de importação de esquemas.
9. Definir conteúdo dinâmico a URL relativa do conjunto de dados de origem (SOURCE, DATASET, RELATIVE URL, DYNAMIC CONTENT):
- Se o conjunto de dados de origem tiver URLs relativas, incorpore conteúdo dinâmico usando parâmetros ou outras variáveis.
10. Definir configurações do formato do tipo de dados de data (DATETIME FORMAT, TYPE CONVERSION, CULTURE):
- Configure as opções relacionadas ao formato de data, conversão de tipo e cultura para garantir consistência nos dados.
11. Executar pipeline (DEBUG):
- Inicie a execução do pipeline em modo de depuração para verificar o comportamento e os resultados das atividades.
12. Visualizar detalhes da atividade executada (DETAILS, DATA READ, DATA WRITTEN):
- Analise os detalhes da atividade executada para obter informações sobre a quantidade de dados lidos e escritos.
13. Visualizar o resultado no SQL Server (SQL QUERY, ON-PREMISES):
- Após a execução, verifique o SQL Server on-premises para confirmar se os dados foram copiados corretamente.
Esses passos abordam desde a preparação e configuração até a execução e verificação dos resultados no contexto do Microsoft Azure Data Factory.