Free cookie consent management tool by TermsFeed Policy Generator

#068 Cómo eliminar registros duplicados en SQL Server Integration Services

Apresentamos nesse vídeo como remover os registros duplicados de uma tabela utilizando o SQL Server Integration Services.

Conoceremos las técnicas:

1. Identifique si hay registros duplicados en la tabla (DISTINCT):

SELECT DISTINCT column1, column2
DE your_table;

número arábigo. Mostrar el plan de ejecución por la definición global (SET STATISTICS XML):

establecer statistics xml on;
-- Su consulta aquí
DESACTIVE STATISTICS XML;

3. Cálculo de valores mediante SQL Server (SELECT, OPERATIONS):SELECT

column1, column2
, column1 + column2 AS sum_result
DE your_table;

4. Agregar tarea de flujo de datos en el proyecto de Integration Services (TAREA DE FLUJO DE DATOS

  • ): en SQL Server Data Tools (SSDT), arrastre la tarea "Tarea de flujo de datos" al control de flujo.
5. Obtenga los datos de la

tabla en SQL Server (ORIGEN OLE DB, CONEXIÓN DE DATOS, MODO DE ACCESO A DATOS): En

el flujo de datos
  • , use el origen "Origen OLE DB" y configure la conexión y el modo de acceso a datos.
6. Ordene los datos y

habilite la eliminación de todos los registros duplicados (SORT, DUPLICATE SORT VALUES):En

el
  • flujo de datos, agregue una transformación "Ordenar" y marque la opción "Eliminar filas con valores de ordenación duplicados".

7. Identifique los registros duplicados agrupando las columnas (AGGREGATE, GROUP BY, COUNT ALL):Utilice

  • la transformación "Aggregate" para contar los registros agrupados por columnas.

8. Seleccione solo registros duplicados por DIVISIÓN CONDICIONAL (SALIDA): Utilice

  • la transformación "División condicional" para enrutar registros en función de una condición (duplicada o no).

9. Elimine los registros duplicados mediante código SQL dinámico (OLE DB COMMAND; COMANDO SQL, PARÁMETROS, ASIGNACIONES DE COLUMNAS, ELIMINAR DE):

  • use la transformación "Comando OLE DB" con un comando SQL dinámico para eliminar duplicados.

10. Inserte los distintos registros mediante código SQL dinámico (OLE DB COMMAND; COMANDO SQL, PARÁMETROS, ASIGNACIONES DE COLUMNAS, INSERTAR EN):-

Utilice la transformación "Comando OLE DB" con un comando SQL dinámico para insertar registros distintos.

11. Habilite la visualización de datos entre tareas (VISOR DE DATOS):

- Utilice la herramienta "Visor de datos" para visualizar datos entre tareas en modo de depuración.

12. Ejecute el paquete de Integration Services en el proyecto (START, DESIGN):

- En SSDT, haga clic en "Iniciar depuración" para ejecutar el paquete de Integration Services.

13. Mostrar registros en memoria (BUFFER)

en la vista de datos:
use herramientas como "Visores de datos" o "Columnas derivadas" para visualizar los datos en la canalización.

14. Identifique si hay registros duplicados en la tabla (DISTINCT, EXECUTION PLAN):-

Ejecute una consulta usando 'DISTINCT' y analice el plan de ejecución para la optimización.

Estas son directrices generales y los detalles pueden variar en función de la versión específica de SQL Server Integration Services y de la configuración del entorno. Asegúrese de consultar la documentación oficial para obtener información más detallada.

Este contenido contiene
  • Conteúdo video
  • Idioma Português
  • Duración 10m 52s
  • Subtítulos Não

  • Tiempo de leer 2 min 29 seg

avatar
Fabio Santos

Científico de datos y consultor de soluciones digitales y analíticas


  • Compartir

Youtube Channel

@fabioms

Suscríbase ahora