Data-Warehouse-com-SSIS
👩🏾💻 Objetivo:
O projeto "Carga Dados para Data Warehouse com o SSIS" é uma solução de Business Intelligence que visa centralizar os dados de várias fontes em um único local (Data Warehouse) utilizando o SQL Server Integration Services (SSIS).
O objetivo é demonstrar a criação de um fluxo de ETL (Extração, Transformação e Carga) que extrai dados da fonte de banco de dados SQL Server, realiza transformações e carrega os dados em um Staging Area e, posteriormente, no Data Warehouse.
📚 Passos do Projeto:
Passo 1: Definição e Planejamento.
-
Definir os Requisitos: Compreender as necessidades da empresa e dos usuários, como quais dados precisam ser carregados, com que frequência e quais transformações são necessárias.
-
Análise de Fonte de Dados: Avaliar a fonte de dados (no caso, um banco de dados SQL Server) e entender sua estrutura, tabelas, relacionamentos e tipos de dados.
-
Especificação do Data Warehouse: Definir a estrutura do Data Warehouse, incluindo as tabelas dimensionais e fatos, bem como as regras de negócios para agregações e métricas.
-
Planejamento de Transformações: Identificar as transformações necessárias para limpar, enriquecer e formatar os dados para atender aos requisitos do Data Warehouse.
Passo 2: Configuração das Fontes de Dados
-
Definição da Conexão de Origem: Criar uma conexão OLE DB para o banco de dados de origem (SQL Server) no projeto SSIS.
-
Criação do Pacote de Extração: Criar um pacote SSIS que utilize a conexão de origem para extrair os dados necessários das tabelas de fonte.
Passo 3: Transformação dos Dados
- Transformações ao fluxo de dados para limpar, validar e transformar os dados conforme necessário.
Passo 4: Carga no Staging Area
-
Definição da Conexão de Staging: Criar uma nova conexão OLE DB para a área de Staging no projeto SSIS.
-
Criação do Pacote de Staging: Criar um novo pacote SSIS que utilize a conexão de Staging para carregar os dados transformados na área de Staging.
Passo 5: Carga no Data Warehouse
-
Definição da Conexão do Data Warehouse: Criar uma conexão OLE DB para o Data Warehouse no projeto SSIS.
-
Criação do Pacote de Carga: Criar um novo pacote SSIS que utilize a conexão do Data Warehouse para carregar os dados da Staging Area nas tabelas dimensionais e de fatos.
Passo 6: Agendamento e Execução
-
Agendamento de Execução: Configurar um agendamento para executar automaticamente os pacotes SSIS de acordo com a frequência necessária.
-
Monitoramento e Logging: Implementar mecanismos de monitoramento e logging para acompanhar a execução dos pacotes e identificar possíveis problemas.
Passo 8: Testes e Validação
-
Teste de Unidade: Testar cada etapa do processo de ETL individualmente para garantir que as transformações e carregamentos estejam funcionando conforme o esperado.
-
Teste de Integração: Executar o fluxo completo do ETL, desde a extração até a carga no Data Warehouse, para verificar a integridade dos dados e a conformidade com as regras de negócios.
🧰 Ferramentas:
- SQL Server Integration Services (SSIS)
- Banco de Dados do Data Warehouse criado no SQL Server.
- SQL Power Architect
📊 Resultado:
