Iremos conhecer as técnicas:
Criar pipeline (NEW PIPELINE):
- No Azure Data Factory, criar um pipeline envolve definir uma série de atividades e tarefas que compõem o fluxo de dados. Um pipeline pode incluir extração, transformação e carregamento (ETL) de dados, bem como outras operações.
{
"name": "MeuPipeline",
"properties": {
"activities": [
{
"name": "MinhaAtividade",
"type": "Copy",
"linkedServiceName": {
"referenceName": "AzureBlobStorageLinkedService",
"type": "LinkedServiceReference"
},
"inputs": [
{
"referenceName": "InputDataset",
"type": "DatasetReference"
}
],
"outputs": [
{
"referenceName": "OutputDataset",
"type": "DatasetReference"
}
],
"policy": {
"timeout": "7.00:00:00",
"retry": 0,
"retryIntervalInSeconds": 30,
"secureOutput": false
}
}
]
}
}
Definir a URL do serviço WEB para atualização do modelo de dados (SERVERS, MODELS, REFRESHES):
- Para atualizar um modelo de dados no Azure Analysis Services, você pode usar a URL do serviço web associada ao modelo, especificando a operação de atualização.
Criar parâmetros do pipeline (PARAMETERS, DATA TYPE, DEFAULT VALUE):
- Definir parâmetros em um pipeline permite a flexibilidade na execução, permitindo que valores sejam passados dinamicamente. Esses parâmetros podem ter tipos de dados específicos e valores padrão.
"parameters": {
"NomeParametro": {
"type": "String",
"defaultValue": "ValorPadrao"
}
}
Adicionar conteúdo dinâmico utilizando os parâmetros (ADD DYNAMIC CONTENT):
- No corpo de uma atividade, você pode adicionar conteúdo dinâmico referenciando parâmetros, expressões ou variáveis.
"body": {
"parametro": "@pipeline().parameters.NomeParametro",
"expressao": "@formatDateTime(utcnow(), 'yyyy-MM-dd')"
}
Definir o tipo de autenticação de acesso (SYSTEM ASSIGNED MANAGED IDENTITY, MSI):
- Para acessar recursos como o Azure Analysis Services, você pode configurar a autenticação usando a identidade gerenciada do sistema (MSI).
"identity": {
"type": "SystemAssigned"
}
Definir os dados a serem enviados pela requisição HTTP (BODY, JSON):
- Ao fazer uma requisição HTTP, você define os dados a serem enviados no corpo (body) da requisição, geralmente em formato JSON.
"body": {
"chave": "valor",
"outraChave": "outroValor"
}
Obter os valores dos parâmetros no recurso Azure Analysis Services:
- Ao executar um pipeline, os valores dos parâmetros podem ser obtidos dinamicamente. Esses valores podem ser usados, por exemplo, para atualizar um modelo no Azure Analysis Services.
Executar o pipeline (DEBUG):
- O processo de execução de um pipeline pode ser iniciado no modo de depuração para testar e verificar se tudo está funcionando conforme esperado.
Obter o script JSON de atualização utilizando o SSMS (SQL SERVER MANAGEMENT STUDIO):
- No SQL Server Management Studio, você pode obter o script JSON para atualização do modelo de dados no Azure Analysis Services através da interface gráfica.
Esses são exemplos simplificados e é importante adaptar conforme a estrutura específica do seu ambiente e requisitos.