O que é o Integration Services?
É o serviço do SQL Server que facilita a integração dos dados da sua empresa, possibilitando se conectar com várias fontes de dados, transformar os dados e facilmente enviá-los para um ou mais destinos.
Mesmo em pequenas empresas, existe uma grande quantidade de arquivos e fontes de dados para manter o ambiente organizacional e isso dificulta a gestão dos dados.
O integration services contém diversas tarefas que ajudam a limpar, unir e minerar os dados de forma automatizada.
Microsoft Visual Studio com SQL Server Data Tools
Necessitamos criar um novo projeto "Integration Services" na categoria "Business Intelligence" e definir o local onde o projeto será salvo.
Na caixa de ferramentas do SSIS, iremos selecionar as tarefas "Tarefa Executar SQL", que possibilita conectar a bancos de dados e executar comandos SQL, e a "Tarefa Inserção em Massa", que executa a importação do arquivo na tabela, nesse caso, no SQL Server instalado localmente.
"Tarefa Executar SQL"
O objetivo é excluir os registros da tabela antes da importação dos dados do arquivo CSV executar, para isso utilizamos o comando SQL:
DELETE FROM DEPUTADOS /* Nome da Tabela Utilizada */
É importante lembrar que criamos a tabela "DEPUTADOS" com o código SQL abaixo:
CREATE TABLE [dbo].[DEPUTADOS](
[uri] [varchar](max) NULL,
[nome] [varchar](max) NULL,
[idLegislaturaInicial] [varchar](max) NULL,
[idLegislaturaFinal] [varchar](max) NULL,
[nomeCivil] [varchar](max) NULL,
[cpf] [varchar](max) NULL,
[siglaSexo] [varchar](max) NULL,
[urlRedeSocial] [varchar](max) NULL,
[urlWebsite] [varchar](max) NULL,
[dataNascimento] [varchar](max) NULL,
[dataFalecimento] [varchar](max) NULL,
[ufNascimento] [varchar](max) NULL,
[municipioNascimento] [varchar](max) NULL
) ON [PRIMARY]
"Tarefa Inserção em Massa"
Essa tarefa utiliza o comando SQL Server "BULK INSERT" para importar o arquivo "deputados.csv" do site de dados abertos da Câmara dos Deputados:
https://dadosabertos.camara.leg.br/
Executar o projeto
Podemos visualizar as etapas executadas pelo projeto clicando no recurso "Resultados da Execução", podemos identificar o tempo que os dados foram eliminados e o arquivo CSV importado.