Iremos conhecer as técnicas:
1. Como instalar o driver ODBC do SAP HANA (ODBC, HANA CLIENT):
2. Criar Serviço Vinculado para recurso Azure Data Lake Storage (LINKED SERVICE):
- No Azure Data Factory, crie um serviço vinculado apontando para o recurso Azure Data Lake Storage.
3. Criar Serviço Vinculado para o recurso de banco de dados do SAP HANA (DATABASE):
- Crie um serviço vinculado para conectar o Azure Data Factory ao banco de dados SAP HANA usando as credenciais apropriadas.
4. Criar facilmente o Pipeline utilizando a ferramenta passo a passo Copiar Dados (INGEST, BUILT-IN COPY TASK):
- Utilize a ferramenta Copiar Dados no Azure Data Factory para criar um pipeline de ingestão de dados.
5. Agendamento de execução do pipeline (RUN ONCE NOW, SCHEDULE, TUMBLING WINDOW):
- Agende a execução do pipeline usando o agendamento "Run Once Now" ou defina um cronograma usando a opção de agendamento.
6. Selecionar a tabela da fonte de dados de origem SAP HANA (SOURCE DATA STORE, TABLES):
- Escolha a tabela específica ou as tabelas de onde os dados serão copiados no SAP HANA.
7. Definir o arquivo em formato Parquet para salvar os dados de origem no Azure Data Lake Storage (DESTINATION DATA STORE, FILENAME, PARQUET):
- Configure o destino do pipeline para armazenar os dados no Azure Data Lake Storage em formato Parquet.
8. Mapear as colunas de destino (COPY DATA, MAPPING, IMPORT SCHEMA):
- Mapeie as colunas da fonte de dados para as colunas de destino no Azure Data Lake Storage usando a ferramenta de mapeamento.
9. Publicar os objetos criados (PUBLISH):
- Publique os objetos do pipeline para que eles estejam disponíveis para execução.
10. Executar Pipeline por gatilho (ADD TRIGGER, TRIGGER NOW):
- Acione a execução do pipeline adicionando um gatilho, seja manualmente ou programando um acionador.
11. Monitorar a finalização de execução do pipeline (MONITOR, STATUS):
- Acesse o painel de monitoramento para verificar o status e os logs de execução do pipeline.
12. Exibir o arquivo em formato Parquet criado na estrutura do Azure Data Lake (CONTAINER, FOLDER):
- Confira o Azure Data Lake Storage para confirmar a presença do arquivo Parquet no contêiner e pasta especificados.
Esses passos cobrem desde a instalação do driver ODBC até a execução e monitoramento bem-sucedidos do pipeline no Azure Data Factory. Adapte os detalhes conforme necessário para o seu ambiente específico.