데이터는 소스에서 정기적으로 추출하고 변환하여 데이터 웨어하우스에 저장해야 합니다. 이 프로세스는 주로 데이터 웨어하우스를 새로 고치는 작업으로 여겨집니다. 가장 효율적인 새로 고치기 방법은 마지막 추출 이후에 변경된 데이터만을 추출하고 변환하는 것입니다.
Cúram Business Intelligence and Analytics 인프라의 변경 데이터 캡처 기술은 데이터베이스의 각 테이블에서 변경된 데이터만을 식별 및 처리하고 변경된 데이터를 데이터 웨어하우스에서 사용할 수 있게 합니다. Cúram Business Intelligence and Analytics 인프라는 새로 고치기 작업을 야간에 수행하려는 목적을 포함하여 디자인되었습니다. 그러나 구현 과정은 유연적이며 새로 고치기 작업을 다른 빈도로 실행할 수 있습니다.
변경 데이터 캡처에는 채워질 각 테이블의 마지막으로 쓰여진 날짜를 저장하는 제어 테이블 사용이 포함됩니다. ETL이 실행될 때 해당 테이블의 마지막으로 쓰여진 필드도 업데이트됩니다. 다음 ETL이 실행될 때 이 제어 테이블에서 먼저 읽은 다음 이전 ETL 실행 이후에 업데이트된 데이터를 추출합니다.
변경 데이터 캡처가 작동하는지 주의를 기울이는 것이 중요하며 모든 마지막으로 쓰여진 필드가 비즈니스 인텔리전스 인프라에서 데이터를 추출하는 소스 테이블에서 채워져야 합니다. 이미 설명한 것처럼 ETL 제어 테이블의 행은 업데이트 중인 테이블에 대해 각 ETL 실행 이전 및 이후에 업데이트됩니다. 이 작업은 ETL이 사전 맵핑 변환을 호출하여 이전 마지막 쓰기 날짜를 읽도록 하고 추출 시간을 설정하여 수행됩니다. ETL이 실행된 후에 마지막 쓰기 날짜를 현재 날짜로 업데이트하는 사후 맵핑 변환이 호출됩니다.
ETL 제어 테이블이 처음으로 데이터로 채워진 후에 마지막 쓰기 날짜는 ETL이 이 날짜 이후에 업데이트된 모든 데이터를 추출하도록 하기 위해 시작 날짜로 다시 설정됩니다. 해당 데이터베이스에 있는 모든 테이블의 마지막 쓰기 날짜를 1934년 1월 1일로 수동으로 설정할 수 있습니다.