Iremos connhecer as técnicas:
1. Criar Pipeline (CREATE PIPELINE, SAVE, GITHUB, AZURE DATA FACTORY STUDIO):
- Para criar um pipeline no Azure Data Factory, você pode usar o Azure Data Factory Studio. Crie um novo pipeline, defina as atividades, salve suas alterações e, se desejado, versione seu código usando o GitHub.
2. Criar novo Conjunto de Dados e Serviço Vinculado HTTP (LINKED SERVICE, DATASET, HTTP, BASE URL, RELATIVE URL CURRENCY):
- Crie um novo conjunto de dados e serviço vinculado HTTP para se conectar a fontes de dados baseadas em serviços web. Defina a URL base e a URL relativa, que podem incluir parâmetros dinâmicos como "CURRENCY" para adaptar a consulta.
3. Criar novo Conjunto de Dados e Serviço Vinculado do Azure Data Lake (LINKED SERVICE, DATASET, AZURE DATA LAKE, FILESYSTEM):
- Para se conectar ao Azure Data Lake, crie um novo conjunto de dados e serviço vinculado específico para o Azure Data Lake. Configure-o para apontar para o sistema de arquivos desejado no Data Lake.
4. Descompactar arquivo zip no Azure Datalake (ACTIVITY, COPY DATA, COMPRESS TYPE, COMPRESS LEVEL):
- Utilize atividades de cópia de dados no pipeline para descompactar arquivos ZIP no Azure Data Lake. Configure as opções de compressão, como o tipo de compressão (COMPRESS TYPE) e o nível de compressão (COMPRESS LEVEL).
5. Visualizar pastas e arquivos no Azure Data Lake (FILESYSTEM, DATA LAKE GEN2):
- Use atividades de listagem ou consulte diretamente o sistema de arquivos (filesystem) do Azure Data Lake Gen2 para visualizar pastas e arquivos armazenados. Isso permite explorar a estrutura do Data Lake antes de realizar operações como cópia ou movimentação de dados.