#070 Copy data from SAP HANA to Azure Data Lake in Azure Data Factory

Iremos conhecer as técnicas:

1. Como instalar o driver ODBC do SAP HANA (ODBC, HANA CLIENT):

• Baixe e instale o SAP HANA Client, que inclui o driver ODBC necessário para conectar ao SAP HANA.
• https://tools.hana.ondemand.com/#hanatools

2. Criar Serviço Vinculado para recurso Azure Data Lake Storage (LINKED SERVICE):

• No Azure Data Factory, crie um serviço vinculado apontando para o recurso Azure Data Lake Storage.

3. Criar Serviço Vinculado para o recurso de banco de dados do SAP HANA (DATABASE):

• Crie um serviço vinculado para conectar o Azure Data Factory ao banco de dados SAP HANA usando as credenciais apropriadas.

4. Criar facilmente o Pipeline utilizando a ferramenta passo a passo Copiar Dados (INGEST, BUILT-IN COPY TASK):

• Utilize a ferramenta Copiar Dados no Azure Data Factory para criar um pipeline de ingestão de dados.

5. Agendamento de execução do pipeline (RUN ONCE NOW, SCHEDULE, TUMBLING WINDOW):

• Agende a execução do pipeline usando o agendamento "Run Once Now" ou defina um cronograma usando a opção de agendamento.

6. Selecionar a tabela da fonte de dados de origem SAP HANA (SOURCE DATA STORE, TABLES):

• Escolha a tabela específica ou as tabelas de onde os dados serão copiados no SAP HANA.

7. Definir o arquivo em formato Parquet para salvar os dados de origem no Azure Data Lake Storage (DESTINATION DATA STORE, FILENAME, PARQUET):

• Configure o destino do pipeline para armazenar os dados no Azure Data Lake Storage em formato Parquet.

8. Mapear as colunas de destino (COPY DATA, MAPPING, IMPORT SCHEMA):

• Mapeie as colunas da fonte de dados para as colunas de destino no Azure Data Lake Storage usando a ferramenta de mapeamento.

9. Publicar os objetos criados (PUBLISH):

• Publique os objetos do pipeline para que eles estejam disponíveis para execução.

10. Executar Pipeline por gatilho (ADD TRIGGER, TRIGGER NOW):

• Acione a execução do pipeline adicionando um gatilho, seja manualmente ou programando um acionador.

11. Monitorar a finalização de execução do pipeline (MONITOR, STATUS):

• Acesse o painel de monitoramento para verificar o status e os logs de execução do pipeline.

12. Exibir o arquivo em formato Parquet criado na estrutura do Azure Data Lake (CONTAINER, FOLDER):

• Confira o Azure Data Lake Storage para confirmar a presença do arquivo Parquet no contêiner e pasta especificados.

Esses passos cobrem desde a instalação do driver ODBC até a execução e monitoramento bem-sucedidos do pipeline no Azure Data Factory. Adapte os detalhes conforme necessário para o seu ambiente específico.