Se tiver grandes conjuntos de dados que são atualizados regularmente, você pode utilizar o utilitário de alteração de rede para identificar registros que foram incluídos, alterados ou excluídos. Após ter identificado esses registros, você pode economizar tempo no processamento enviando somente os registros alterados para o pipeline.
Antes de iniciar :
Verifique se todos os arquivos de origem são arquivos de largura fixa.
Procedimento:
- Classifique os arquivos de dados de entrada de acordo com a chave que identifica exclusivamente cada registro. (é crítico para o sucesso).
- Execute o Utilitário de alteração de rede.
java -server -jar jnce.jar --cfg-file=filename.ini
--base-file=filename.base --new-file=inputfile
--out-root=filename
Nota: Essa linha de comandos está agrupada.
- Se ocorrer um erro depois desta etapa:
- Corrija a causa do erro.
- Exclua os arquivos .diff e .merge.
- Execute o Utilitário de alteração de rede novamente.
- Verifique para se certificar de que os resultados são razoáveis:
- Verifique os dados visualmente.
- Verifique o número de registros. Por exemplo, se você estiver executando 1 milhão de registros e espera 100.000 registros após a execução do Utilitário de alteração de rede, verifique se o número real de registros corresponde ao número esperado.
- Arquive o antigo arquivo base e renomeie o novo arquivo .merge para utilizar como o novo arquivo base.
O Que Fazer Depois:
Agora você eliminou registros duplicados e inalterados e pode enviar somente os registros que precisam ser processados pelo pipeline para um utilitário de geração de UMF ou diretamente para o pipeline, se esses registros atenderem aos requisitos do UMF.