Free cookie consent management tool by TermsFeed Policy Generator

#068 Como remover registros duplicados no SQL Server Integration Services

Apresentamos nesse vídeo como remover os registros duplicados de uma tabela utilizando o SQL Server Integration Services.

Iremos conhecer as técnicas:

1. Identificar se existem registros duplicados na tabela (DISTINCT):

SELECT DISTINCT column1, column2
FROM your_table;

2. Exibir o plano de execução pela definição global (SET STATISTICS XML):

SET STATISTICS XML ON;
-- Sua consulta aqui
SET STATISTICS XML OFF;

3. Calcular valores utilizando o SQL Server (SELECT, OPERATIONS):

SELECT column1, column2, column1 + column2 AS sum_result
FROM your_table;

4. Adicionar tarefa de fluxo de dados no projeto Integration Services (DATA FLOW TASK):

  • No SQL Server Data Tools (SSDT), arraste a tarefa "Data Flow Task" para o controle de fluxo.

5. Obter os dados da tabela no SQL Server (OLE DB SOURCE, DATA CONNECTION, DATA ACCESS MODE):

  • No fluxo de dados, use a fonte "OLE DB Source" e configure a conexão e o modo de acesso a dados.

6. Ordenar os dados e habilitar a remoção de todos os registros duplicados (SORT, DUPLICATE SORT VALUES):

  • No fluxo de dados, adicione uma transformação "Sort" e marque a opção "Remove rows with duplicate sort values".

7. Identificar os registros duplicados por agrupamento das colunas (AGGREGATE, GROUP BY, COUNT ALL):

  • Use a transformação "Aggregate" para contar os registros agrupados por colunas.

8. Selecionar apenas os registros duplicados por separação condicional (CONDITIONAL SPLIT, OUTPUT):

  • Utilize a transformação "Conditional Split" para rotear registros com base em uma condição (duplicados ou não).

9. Remover os registros duplicados por Código SQL dinâmico (OLE DB COMMAND; SQL COMMAND, PARAMS, COLUMN MAPPINGS, DELETE FROM):

  • Use a transformação "OLE DB Command" com um comando SQL dinâmico para excluir duplicatas.

10. Inserir os registros distintos por Código SQL dinâmico (OLE DB COMMAND; SQL COMMAND, PARAMS, COLUMN MAPPINGS, INSERT INTO):

- Utilize a transformação "OLE DB Command" com um comando SQL dinâmico para inserir registros distintos.

11. Habilitar a visualização de dados entre as tarefas (DATA VIEWER):

- Use a ferramenta "Data Viewer" para visualizar dados entre as tarefas no modo de depuração.

12. Executar o pacote Integration Services no projeto (START, DESIGN):

- No SSDT, clique em "Start Debugging" para executar o pacote Integration Services.

13. Exibir na visualização dos dados os registros em memória (BUFFER):

- Utilize ferramentas como "Data Viewers" ou "Derived Columns" para visualizar dados no pipeline.

14. Identificar se existem registros duplicados na tabela (DISTINCT, EXECUTION PLAN):

- Execute uma consulta usando `DISTINCT` e analise o plano de execução para otimização.

Essas são diretrizes gerais e os detalhes podem variar com base na versão específica do SQL Server Integration Services e nas configurações do ambiente. Certifique-se de consultar a documentação oficial para obter informações mais detalhadas.

Este contéudo contém
  • Conteúdo Vídeo
  • Idioma Português
  • Duração 10m 52s
  • Legenda Não

  • Tempo de leitura 2 min 19 seg

avatar
Fabio Santos

Cientista de Dados e Consultor de Soluções Digitais e Analíticas


  • Compartilhe

Youtube Channel

@fabioms

Inscreva-se agora