Você precisa incluir as etapas que definem como os dados de origem serão movidos e transformados em dados de destino. Existem quatro tipos principais de etapas:
Uma etapa SQL usa uma instrução SQL SELECT para extrair os dados da origem de um warehouse e gera uma instrução INSERT que insere os dados na tabela de destino do warehouse.
As etapas de programa do warehouse executam utilitários e programas pré-definidos. Existem vários tipos de etapas de programa do warehouse:
Os programas do warehouse de um determinado sistema operacional estão empacotados com o agente desse sistema operacional. Instale os programas do warehouse quando instalar o código do agente.
A definição de cada programa do warehouse será incluída durante a inicialização. Para ver uma lista das definições, expanda a pasta Programas e Transformadores da janela Centro de Data Warehouse principal.
As etapas do transformador são procedimentos armazenados e funções definidas pelo usuário que especificam transformadores do warehouse ou estatísticos que podem ser utilizados na transformação dos dados. Eles servem para limpar, inverter e distribuir dados, para gerar chaves primárias e tabelas de período, e para calcular várias estatísticas.
Em uma etapa do transformador, especifique um dos transformadores do warehouse ou estatísticos. Quando se executa um processo, a etapa do transformador grava os dados em um ou mais destinos do warehouse.
Há vários tipos das etapas do transformador:
Além das etapas do transformador, há um transformador que é uma função definida pelo usuário. Você pode usar o transformador com uma etapa SQL.
Os transformadores de um determinado sistema operacional estão empacotados com o agente desse sistema operacional. Instale os programas do warehouse quando instalar o código do agente.
Restrição: Os transformadores do Centro de Data Warehouse não são suportados com um banco de dados de destino do DataJoiner.
A definição de cada transformador será incluída durante a inicialização. Para ver uma lista das definições, expanda a pasta Programas e Transformadores da janela Centro de Data Warehouse principal.
Antes de usar o transformadores:
As etapas de replicação copiam as alterações indicadas em qualquer banco de dados relacional DB2 de uma localização (uma origem) para uma outra (um destino), sincronizando os dados em ambas as localizações. A origem e o destino podem estar em servidores lógicos (tal como um banco de dados DB2, um subsistema DB2 para OS/390 ou um grupo de compartilhamento de dados) que estejam na mesma máquina ou em máquinas diferentes em uma rede distribuída.
Você pode usar as etapas de replicação para manter a tabela do warehouse sincronizada com uma tabela operacional sem ter de carregar completamente a tabela toda vez que a tabela operacional for atualizada. Com a replicação, você pode usar as atualizações incrementais para manter os dados atuais.
Se você solicitar uma função que não foi fornecida em um desses tipos de etapas, você poderá gravar seus próprios transformadores ou programas do warehouse e definir as etapas que usam esses programas ou transformadores. Para obter informações sobre a gravação dos seus programas do warehouse, consulte o Gravando seu programa para ser usado com o Centro de Data Warehouse.
Cada grupo de etapas (exceto o grupo SQL) tem uma certa quantidade de subtipos da etapa. Em todos os casos diferentes do grupo SQL, escolha um subtipo de etapa específico para mover ou transformar os dados. Por exemplo, o transformador ANOVA é um subtipo do grupo do transformador Estatístico. No caso do grupo SQL, existe apenas um tipo da etapa SQL. Use essa etapa para executar operações SQL select nas origens e destinos do warehouse.
As tabelas Tabela 7 a Tabela 13 listam os subtipos da etapa por grupo de programa. Um grupo de programa é um agrupamento lógico de programas relacionados. Por exemplo, todos os programas do warehouse fornecidos que manipulam arquivos estão no grupo de programa do warehouse Arquivo. Os grupos de programas dos transformadores e programas do warehouse fornecidos correspondem aos ícones do lado esquerdo da janela Processar Modelo.
A Tabela 7 lista os programas do warehouse do arquivo.
Tabela 7. Programas do warehouse do arquivo
|
| Locais do agente |
| |||||
---|---|---|---|---|---|---|---|---|
Nome | Descrição | Windows NT ou 2000 | AIX | Amb. Op. Solaris | OS/2 | AS/400 | OS/390 | Consulte... |
Copiar arquivo usando FTP (VWPRCPY) | Copia os arquivos do local do agente de/para um host remoto. | X | X | X | X | X | X | Definindo valores para o programa Copiar Arquivo usando o FTP (VWPRCPY) |
Executar o arquivo de comando FTP (VWPFTP) | Executa todos os arquivos de comando FTP que você especificar. | X | X | X | X | X | X | Definindo valores para um programa Executar Arquivo de Comandos do FTP (VWPFTP) |
Exportar dados com ODBC para o arquivo (VWPEXPT2) | Seleciona os dados de uma tabela que está contida em um banco de dados registrado em ODBC, e grava os dados em um arquivo delimitado. | X | X | X | X |
|
| Definindo valores para a exportação de dados com ODBC para o programa do warehouse do arquivo (VWPEXPT2) |
Submeter Fluxo de Job do JCL no OS/390 (VWPMVS) | Submete um fluxo de job JCL a um sistema OS/390 para o processamento. | X | X | X | X |
| X | Definindo valores para um programa Submeter fluxo do job de JCL do OS/390 (VWPMVS) |
A Tabela 8 lista os programas do warehouse do DB2.
Tabela 8. Programas do warehouse do DB2
|
| Locais do agente |
| |||||
---|---|---|---|---|---|---|---|---|
Nome | Descrição | Windows NT ou 2000 | AIX | Amb. Op. Solaris | OS/2 | AS/400 | OS/390 | Consulte... |
Carregar do DB2 UDB | Carrega os dados a partir de um arquivo delimitado em um banco de dados DB2 UDB, substituindo ou anexando-os aos dados existentes no banco de dados. | X | X | X | X |
|
| Definindo valores para um programa de carga do DB2 Universal Database |
Carregar e substituir do DB2 para AS/400 (VWPLOADR) | Carrega os dados a partir de um arquivo delimitado em um banco de dados DB2 para AS/400, substituindo os dados existentes no banco de dados por dados novos. |
|
|
|
| X |
| Definindo valores para um programa Substituição da Carga de Dados do DB2 UDB para AS/400 (VWPLOADR) |
Carregar e inserir do DB2 para AS/400 (VWPLOADI) | Carrega os dados a partir de um arquivo delimitado em uma tabela DB2 para AS/400, anexando dados novos aos dados existentes no banco de dados. |
|
|
|
| X |
| Definindo valores para um programa de Inserção e Carga de Dados do DB2 UDB para AS/400 (VWPLOADI) |
Carregar do DB2 para OS/390 | Carrega os registros em uma ou mais tabela de um table space. |
|
|
|
|
| X | Definindo valores para um programa Load do DB2 para OS/390 |
Exportar dados do DB2 (VWPEXPT1) | Exporta os dados de um banco de dados DB2 local para um arquivo delimitado. | X | X | X | X |
|
| Definindo valores para um programa do warehouse DB2 UDB export (VWPEXPT1) |
DB2 runstats (VWPSTATS) | Executa o utilitário DB2 RUNSTATS na tabela especificada. | X | X | X | X |
| X | Definindo valores para um programa DB2 UDB RUNSTATS |
DB2 reorg (VWPREORG) | Executa os utilitários DB2 REORG e RUNSTATS na tabela especificada. | X | X | X | X |
| X | Definindo valores para um programa REORG do DB2 Universal Database
Definindo valores para um programa Reorganizar Tablespace do DB2 UDB para OS/390 |
A Tabela 9 lista os programas do warehouse do OLAP Server(TM).
Tabela 9. Programas do DB2 OLAP Server
|
| Locais do agente |
| |||||
---|---|---|---|---|---|---|---|---|
Nome | Descrição | Windows NT ou 2000 | AIX | Amb. Op. Solaris | OS/2 | AS/400 | OS/390 | Consulte... |
OLAP Server: Carregar os dados de texto livre (ESSDATA1) | Carrega os dados a partir de um arquivo simples delimitado por vírgulas em um banco de dados DB2 OLAP Server multidimensional usando o carregamento de dados de forma livre. | X | X | X |
| X |
| Definindo valores para o programa do warehouse OLAP Server: Liberar o carregamento de dados de texto (ESSDATA1) |
OLAP Server: Carregar dados de um arquivo com as regras de carregamento (ESSDATA2) | Carrega os dados a partir de um arquivo simples de origem em um banco de dados DB2 OLAP Server multidimensional usando as regras de carregamento. | X | X | X |
| X |
| Definindo valores para o programa do warehouse OLAP Server: Carregar dados do arquivo com regras de carregamento (ESSDATA2) |
OLAP Server: Carregar dados da tabela SQL com regras de carregamento (ESSDATA3) | Carrega os dados a partir de uma tabela SQL em um banco de dados DB2 OLAP Server multidimensional usando as regras de carregamento. | X | X | X |
| X |
| Definindo valores para um programa do warehouse OLAP Server: Carregar dados da tabela SQL com regras de carregamento (ESSDATA3) |
OLAP Server: Carregar dados de um arquivo sem usar as regras de carregamento (ESSDATA4) | Carrega os dados a partir de um arquivo simples em um banco de dados OLAP Server multidimensional sem usar as regras de carregamento. | X | X | X |
| X |
| Definindo valores para um programa do warehouse OLAP Server: Carregar dados de um arquivo sem regras de carregamento (ESSDATA4) |
OLAP Server: Atualizar o outline a partir de um arquivo (ESSOTL1) | Atualiza um outline do DB2 OLAP Server a partir de um arquivo de origem usando as regras de carregamento. | X | X | X |
| X |
| Definindo valores para um programa do warehouse OLAP Server: Atualizar outline do arquivo (ESSOTL1) |
OLAP Server: Atualizar o outline a partir da tabela SQL (ESSOTL2) | Atualiza um outline do DB2 OLAP Server a partir de uma tabela SQL usando as regras de carregamento. | X | X | X |
| X |
| Definindo valores para um programa OLAP Server: Atualizar outline da tabela SQL (ESSOTL1) |
OLAP Server: Cálculo padrão (ESSCALC1) | Chama o script de cálculo do DB2 OLAP Server padrão associado ao banco de dados de destino. | X | X | X |
| X |
| Definindo valores para o OLAP Server: programa do warehouse para cálculo padrão (ESSCALC1) |
OLAP Server: Cálculo com regras de cálculo (ESSCALC2) | Aplica o script de cálculo especificado a um banco de dados do DB2 OLAP Server. | X | X | X |
| X |
| Definindo valores para o programa do warehouse OLAP Server: Cálculo com regras de cálculo (ESSCALC2) |
A Tabela 10 lista os programas de replicação.
Tabela 10. Programas de replicação
|
| Locais do agente |
| |||||
---|---|---|---|---|---|---|---|---|
Nome | Descrição | Windows NT ou 2000 | AIX | Amb. Op. Solaris | OS/2 | AS/400 | OS/390 | Consulte... |
Agregação base | Cria uma tabela de destino que contém os dados agregados de uma tabela do usuário anexada em intervalos especificados. | X | X | X | X |
| X | Definindo uma etapa de cópia do usuário, ponto no tempo ou replicação de agregação básica |
Alterar agregação | Cria uma tabela de destino que contém os dados agregados com base em alterações registradas em uma tabela de origem. | X | X | X | X |
| X | Definindo uma etapa de replicação de conjunto de alteração |
Ponto no tempo | Cria uma tabela de destino correspondente à tabela de origem, com uma coluna de registro do tempo. | X | X | X | X |
| X | Definindo uma etapa de cópia do usuário, ponto no tempo ou replicação de agregação básica |
Tabela de graduação | Cria uma tabela compatível com os dados de alteração que pode ser usada como a origem da atualização dos dados em diversas tabelas de destino. | X | X | X | X |
| X | Definindo uma etapa de replicação de tabela de representação |
Cópia do usuário | Cria uma tabela de destino correspondente à tabela de origem exatamente no momento da cópia. | X | X | X | X |
| X | Definindo uma etapa de cópia do usuário, ponto no tempo ou replicação de agregação básica |
Em razão da interface da linha de comandos com alguns dos programas do
warehouse do DB2 ser diferente do Visual Warehouse Versão 5.2, os
programas do warehouse do DB2 do Visual Warehouse Versão 5.2 serão
suportados separadamente. A Tabela 11 lista os programas do warehouse da Versão 5.2.
Tabela 11. Programas do warehouse do Visual Warehouse Versão 5.2
|
| Locais do agente |
| |||||
---|---|---|---|---|---|---|---|---|
Nome | Descrição | Windows NT ou 2000 | AIX | Amb. Op. Solaris | OS/2 | AS/400 | OS/390 | Consulte... |
Carregar e substituir DB2 (VWPLOADR) | Carrega os dados a partir de um arquivo delimitado em um banco de dados DB2 UDB, substituindo os dados existentes no banco de dados por dados novos. | X | X | X | X |
|
| Definindo valores para um programa Carregar e Substituir Dados (VWPLOADR) do Visual Warehouse DB2 UDB |
Carregar e inserir DB2 (VWPLOADI) | Carrega os dados a partir do arquivo delimitado em uma tabela DB2, anexando os dados novos aos dados existentes no banco de dados. | X | X | X | X |
|
| Definindo valores para um programa de warehouse Carregar e Inserir Dados (VWPLOADI) do Data Visual Warehouse DB2 UDB |
Carregar arquivo simples no DB2 UDB EEE (somente AIX) (VWPLDPR) | Carrega os dados a partir do arquivo delimitado em um banco de dados DB2 EEE, substituindo os dados existentes no banco de dados pelos dados novos. |
| X |
|
|
|
| Definindo valores para um programa Carregar arquivo simples do Visual Warehouse 5.2 dentro do DB2 UDB EEE (VWPLDPR) (apenas AIX) |
Exportar dados do DB2 (VWPEXPT1) | Exporta os dados de um banco de dados DB2 local para um arquivo delimitado. | X | X | X | X |
|
| Definindo valores para um programa de Exportação de Dados (VWPEXPT1) do Visual Warehouse 5.2 DB2 UDB |
DB2 runstats (VWPSTATS) | Executa o utilitário DB2 RUNSTATS na tabela especificada. | X | X | X | X |
|
| Definindo valores para um programa do DB2 UDB RUNSTATS (VWPSTATS) do Visual Warehouse 5.2 |
DB2 reorg (VWPREORG) | Executa os utilitários DB2 REORG e RUNSTATS na tabela especificada. | X | X | X | X |
|
| Definindo valores para um programa REORG (VWPREORG) do Visual Warehouse 5.2 DB2 UDB |
Para obter informações detalhadas sobre os programas do warehouse fornecidos, consulte a ajuda online.
A Tabela 12 lista os transformadores do warehouse.
Tabela 12. Transformadores do warehouse
|
| Locais do agente |
| |||||
---|---|---|---|---|---|---|---|---|
Nome | Descrição | Windows NT ou 2000 | AIX | Amb. Op. Solaris | OS/2 | AS/400 | OS/390 | Consulte... |
Limpar dados | Substitui os valores dos dados, remove as linhas dos dados, corta os valores numéricos, executa a discretização numérica e remove o espaço em branco. | X | X | X | X |
|
| Limpando dados |
Gerar tabela-chave | Gera ou modifica uma seqüência de valores-chave exclusivos de uma tabela existente. | X | X | X | X |
|
| Gerando colunas chave |
Gerar tabela do período | Cria uma tabela com a data, a hora ou o registro de tempo gerado e colunas opcionais baseadas em parâmetros especificados, no valor da data ou hora ou ambos, para a linha. | X | X | X | X |
|
| Gerando tabela de período |
Inverter dados | Inverte as linhas e colunas de uma tabela, fazendo as linhas se tornarem colunas e as colunas, linhas. | X | X | X | X |
|
| Invertendo dados |
Distribuir dados | Agrupa os dados afins das colunas selecionadas de uma tabela de origem em uma única coluna de uma tabela de destino. Os dados da tabela de origem são atribuídos a um determinado grupo de dados da tabela de saída. | X | X | X | X |
|
| Centralizando dados |
A Tabela 13 lista os transformadores estatísticos.
Tabela 13. Transformadores estatísticos
|
| Locais do agente |
| |||||
---|---|---|---|---|---|---|---|---|
Nome | Descrição | Windows NT ou 2000 | AIX | Amb. Op. Solaris | OS/2 | AS/400 | OS/390 | Consulte... |
ANOVA | Computa a análise da variação de uma direção, de duas direções e de três direções; estima a variabilidade entre os grupos e dentro deles e calcula a taxa das estimativas; calcula o valor p. | X | X | X | X |
|
| ANOVA transformador |
Calcular estatísticas | Calcula a contagem, a soma, a média, a variação, o desvio padrão, o erro padrão, o mínimo, o máximo, a faixa e o coeficiente de variação das colunas de dados a partir de uma única tabela. | X | X | X | X |
|
| Calcular Estatísticas transformador |
Calcular subtotais | Usa uma tabela com a chave primária para calcular o subtotal em execução dos valores numéricos agrupados por um período de tempo, seja ele semanal, quinzenal, mensal, trimestral ou anual. | X | X | X | X |
|
| Calcular Subtotais transformador |
X-quadrado | Executa os testes x-quadrado e ajuste perfeito de x-quadrado para determinar o relacionamento entre os valores de duas variáveis, e se a distribuição dos valores atende às expectativas. | X | X | X | X |
|
| X ao quadrado transformador |
Correlação | Computa a associação entre as alterações de dois atributos por meio do cálculo do coeficiente de correlação r, covariância, valor T e valor P em qualquer quantidade de pares de colunas de entrada. | X | X | X | X |
|
| Correlação transformador |
Média de deslocamento | Calcula uma média de deslocamento simples, uma média de deslocamento exponencial ou uma soma de deslocamento, redistribuindo eventos para remover ruídos, ocorrências aleatórias e grandes picos e baixas dos dados. | X | X | X | X |
|
| Média de Deslocamento transformador |
Regressão | Mostra os relacionamentos entre duas variáveis diferentes e mostra o quanto as variáveis estão correlacionadas por meio da execução de uma regressão de modelo completo de retrocesso. | X | X | X | X |
|
| Regressão transformador |
A Tabela 14 lista o transformador que é uma função definida pelo
usuário.
Tabela 14. Transformador da função definida pelo usuário
|
| Locais do agente |
| |||||
---|---|---|---|---|---|---|---|---|
Nome | Descrição | Windows NT ou 2000 | AIX | Amb. Op. Solaris | OS/2 | AS/400 | OS/390 | Consulte... |
Formato data e hora | Altera o formato do campo de uma data da tabela de origem. | X | X | X | X |
|
| Alterando o formato de um campo de data |
O restante deste capítulo fornece informações gerais sobre a utilização das etapas. Os capítulos subseqüentes fornecem mais detalhes sobre a definição e a utilização do subtipo de cada etapa.
Antes de definir os valores da etapa, você pode usar as ligações dos dados para conectar a etapa às origens e destinos aplicáveis do warehouse. Em alguns casos, o Centro de Data Warehouse pode gerar uma tabela de destino para você. Ligue uma etapa a origens e destinos para definir o fluxo dos dados das origens, através da transformação por uma etapa, aos destinos.
Para configurar uma etapa para trabalhar com uma origem de dados, use a janela Processar Modelo:
Você pode ligar as etapas às suas origens e destinos.
Para ligar uma etapa:
O Centro de Data Warehouse desenha uma linha entre a origem e a etapa.
A linha indica que a origem contém os dados de origem da etapa.
A linha indica que a tabela de destino conterá os dados de destino da etapa.
No exemplo a seguir, existem duas origens originais. O arquivo
demographics.txt contém os dados demográficos de certas cidades.
A tabela GEOGRAPHIES contém informações sobre quais produtos são vendidos em
que regiões. A etapa Carregar Dados Demográficos carrega os dados
demográficos na tabela de destino DEMOGRAPHICS_TARGET. A etapa
Selecionar Dados Geográficos seleciona os dados GEOGRAPHIES e grava-os na
tabela de destino GEOGRAPHIES_TARGET. A etapa Juntar Dados do Mercado
reúne os dados das duas tabelas de destino e grava-os na tabela de destino
LOOKUP_MARKET. Você pode usar os dados resultantes para analisar as
vendas por preenchimento.
Para obter mais informações sobre o exemplo anterior, inclusive o procedimento de definição das origens, etapas e destinos, consulte o Tutorial Business Intelligence.
As seções a seguir informam como definir os valores da etapa. Elas também fornecem as informações básicas sobre a etapa, incluindo os tipos de origens de dados com os quais os subtipos da etapa trabalham. Por exemplo, alguns subtipos da etapa trabalham somente com tabelas de destino do warehouse, enquanto outros trabalham apenas com arquivos de origem ou destino do warehouse.
Para definir os valores da etapa, primeiro é preciso abrir a etapa. Clique com o botão direito na etapa e clique em Propriedades.
Cada um dos blocos de notas do subtipo da etapa consiste em quatro páginas:
A primeira página do bloco de notas do subtipo de uma etapa será nomeada depois do tipo da etapa. Por exemplo, a primeira página do transformador ANOVA será chamada de Transformador Estatístico. Todos os campos da primeira página do bloco de notas do subtipo de uma etapa são iguais em todos os subtipos da etapa.
Para definir os valores da primeira página do bloco de notas do subtipo de uma etapa:
Consulte as descrições do subtipo da etapa a seguir para obter informações sobre a definição dos valores dos parâmetros do subtipo de uma etapa.
Quando você utiliza o Centro de Data Warehouse, torna-se fácil manipular os dados. Você decide quais linhas e colunas (ou campos) do banco de dados de origem utilizará no banco de dados do warehouse. Depois, define aquelas linhas e colunas do etapa.
Por exemplo, você deseja criar algumas etapas que são relacionadas aos dados de manufatura. Cada local de manufatura mantém um banco de dados relacional que descreve os produtos que são manufaturados neste local. Você cria uma etapa para cada um dos quatro locais. A Figura 13 mostra o mapeamento inicial entre uma tabela de origem e uma tabela do warehouse.
Figura 13. Um mapeamento dos dados de origem para uma tabela do warehouse
![]() |
Somente algumas etapas usam o mapeamento da coluna. Se a página de mapeamento da coluna estiver em branco depois que você definir os valores dos parâmetros da etapa, e esses valores resultarem em mais do que uma coluna, a etapa não utilizará o mapeamento de coluna. O fornecimento das informações de mapeamento da coluna é opcional.
Na página Mapeamento de Coluna, mapeie as colunas de saída que resultam das transformações definidas na página Parâmetros até as colunas em sua tabela de destino. Nessa página, as colunas de saída da página Parâmetros são referidas como colunas de origem. As colunas de origem são listadas no lado esquerdo da página. As colunas de destino da tabela de saída ligada à etapa são listadas no lado direito da página. Use a página Mapeamento de Coluna para executar as seguintes tarefas:
Para criar um mapeamento, clique em uma coluna de origem e arraste-a para uma coluna de destino. Uma seta será desenhada entre a coluna de origem e a coluna de destino.
Para excluir um mapeamento, clique com o botão direito em uma seta e clique em Remover.
Para renomear uma coluna de destino, dê um clique duplo no nome da coluna e digite o novo nome. Você também pode modificar qualquer outro atributo da coluna de destino com um clique duplo no atributo.
Em certos subtipos da etapa, as ações que você pode realizar nesta página são limitadas. Em outros subtipos da etapa, as saídas da coluna da página Parâmetros podem seguir certas regras. Essas informações estão descritas, onde aplicável, nas descrições do subtipo da etapa a seguir.
Esta seção descreve os valores que você precisa definir para os campos e controles das Opções de Processamento comuns a todos os blocos de notas.
Para fornecer os valores das opções de processamento:
Tipo de população | Descrição |
---|---|
Normal | Anexa os dados de uma quantidade definida de edições, daí em diante substitui os dados de um conjunto por vez. Se, por exemplo, a etapa anexa os dados uma vez por mês durante 12 meses. No 13? mês, a etapa substitui os dados gravados no primeiro mês pelos dados que resultam da execução do 13? mês. |
Anexar | Anexa dados. |
Substituir | Substitui dados. |
Controlado por programa | O preenchimento é gerenciado pelo programa. |
Eliminar | A tabela é eliminada, recriada e preenchida. |
Replicação | O preenchimento é gerenciado pela replicação. |
O Centro de Data Warehouse repete a etapa quando um dos seguintes problemas ocorrer:
O Centro de Data Warehouse também tenta novamente extrair dados quando recebe um destes códigos de retorno: