Apresentamos nesse vídeo como copiar parte do resultado em formato JSON para salvar no banco de dados SQL do Azure utilizando o Azure Data Factory.
1. Ferramenta Postman e a API de dados do Youtube (POSTMAN API PLATFORM, YOUTUBE DATA API):
O Postman é uma ferramenta de colaboração para o desenvolvimento de APIs. A seguir, um exemplo básico de como usar o Postman para acessar a API de dados do YouTube:
Crie uma solicitação GET para a URL da API do YouTube, por exemplo:
GET https://www.googleapis.com/youtube/v3/videos
Adicione os parâmetros necessários, como chave de API, para autenticar sua solicitação.
Execute a solicitação e visualize a resposta no formato JSON.
2. Estrutura de resultado em formato JSON (JSON FORMAT, HTTP RESPONSE):
Ao fazer uma solicitação HTTP para uma API, a resposta geralmente está no formato JSON. Exemplo de resposta JSON:
{ "nome": "Exemplo", "idade": 30, "cidade": "Exemplópolis" }
3. Atividade de Obter dados da internet (WEB ACTIVITY):
No Azure Data Factory, a atividade de "Web" pode ser usada para obter dados da internet. Exemplo:
"activities": [ { "name": "WebActivitySample", "type": "Web", "linkedServiceName": { "referenceName": "YourLinkedServiceName", "type": "LinkedServiceReference" }, "userProperties": [ { "name": "Url", "value": "https://api.example.com/data" } ] } ]
4. Criar e definir variável (VARIABLES, SET VARIABLE ACTIVITY):
No Azure Data Factory, você pode criar e definir variáveis usando a atividade "Set Variable". Exemplo:
"activities": [ { "name": "SetVariableActivity", "type": "SetVariable", "linkedServiceName": { "referenceName": "YourLinkedServiceName", "type": "LinkedServiceReference" }, "typeProperties": { "variableName": "YourVariableName", "value": "ExampleValue" } } ]
5. Inserir registro em tabela do banco de dados SQL do Azure (SCRIPT ACTIVITY, CREATE TABLE, INSERT, SQL CODES):
Use a atividade "Script" para executar scripts SQL no Azure Data Factory. Exemplo:
"activities": [ { "name": "SqlScriptActivity", "type": "SqlScript", "linkedServiceName": { "referenceName": "YourLinkedServiceName", "type": "LinkedServiceReference" }, "typeProperties": { "script": "CREATE TABLE ExampleTable (ID INT, Name VARCHAR(255)); INSERT INTO ExampleTable VALUES (1, 'John');" } } ]
6. Consultar tabela com dados em formato JSON (SELECT, CROSS APPLY, JSON_VALUE):
Para consultar uma tabela SQL no Azure Data Factory e obter dados em formato JSON, use a atividade "Lookup" ou "Copy". Exemplo de consulta:
SELECT ID, Name FROM ExampleTable FOR JSON AUTO
Esses são exemplos básicos e os detalhes podem variar dependendo do seu ambiente específico e dos requisitos do Azure Data Factory.
Cientista de Dados e Consultor de Soluções Digitais e Analíticas
@fabioms