Como conectar recursos locais no Azure Data Factory

1. O que é o Linked Services:

• O Linked Service é uma entidade no Azure Data Factory que define a conexão com dados externos. Ele contém informações sobre a fonte ou destino de dados, como credenciais de autenticação e parâmetros de configuração. Os Linked Services permitem que o Azure Data Factory se conecte a diversas fontes, como bancos de dados SQL, Azure Blob Storage, Azure SQL Data Warehouse, entre outros.

2. O que é o Pipeline:

• Um Pipeline é uma sequência de atividades lógicas que realiza um conjunto de operações. No contexto do Azure Data Factory, um Pipeline define a orquestração de dados, representando fluxos de trabalho que podem incluir movimentação, transformação e processamento de dados.

3. O que é o Integration Runtime:

• O Integration Runtime (IR) é uma infraestrutura que permite o movimento de dados entre fontes e destinos em diferentes locais. Ele fornece a capacidade de executar atividades em um ambiente de execução dedicado, seja no ambiente de nuvem do Azure ou em um ambiente auto-hospedado localmente (Self-hosted).

4. Como criar um novo Integration Runtime:

• Para criar um novo Integration Runtime no Azure Data Factory, você pode seguir estas etapas:
  1. Acesse o portal do Azure.
  2. Navegue até o Azure Data Factory.
  3. Selecione "Integration Runtimes" no painel de navegação.
  4. Clique em "New" para criar um novo Integration Runtime, escolhendo entre os tipos Azure e Self-hosted.

5. Como fazer o download e instalação do software do Integration Runtime em seu computador local:

• Para um Integration Runtime auto-hospedado (Self-hosted), você pode realizar o download do software e instalá-lo localmente seguindo estas etapas:
  1. No Azure Portal, vá até a configuração do Integration Runtime.
  2. Selecione "Self-hosted."
  3. Baixe o instalador do Integration Runtime.
  4. Execute o instalador no seu computador local, seguindo as instruções fornecidas.

6. Como configurar a conexão do recurso on-premises com o serviço de nuvem do Azure Data Factory:

• Para configurar a conexão entre um recurso local e o Azure Data Factory usando Integration Runtime auto-hospedado, você precisa configurar as propriedades do Linked Service para a fonte ou destino de dados no Azure Portal, incluindo credenciais necessárias.

7. Algumas propriedades existentes, como por exemplo, a atualização automática do software, compartilhamento do Integration Runtime auto-hospedado para ser reaproveitado em outro Azure Data Factory:

• O Integration Runtime auto-hospedado pode ser configurado com várias propriedades, como:
  • Atualização automática do software para garantir a versão mais recente.
  • Configurações de segurança e autenticação para conexão com recursos locais.
  • Compartilhamento do Integration Runtime para que ele possa ser reutilizado em diferentes Azure Data Factories, proporcionando reusabilidade e eficiência em ambientes distribuídos.

Esses conceitos no Azure Data Factory, como Linked Services, Pipelines e Integration Runtimes, são fundamentais para orquestrar e executar fluxos de trabalho de dados em ambientes de nuvem e locais, facilitando a integração e a movimentação de dados em escala.