ETL 작업 관리 필요 요소 및 아키텍처
1. 관리 데이터
- ETL JOB LIST(ETL 작업 MASTER 정보)
- ETL JOB LOG(ETL 작업 수행 이력)
- ETL JOB MATCH(ETL 작업 DEPENDENCY)
2. 로직 구현
- 작업에 사용하는 모든 변수는 사전에 미리 정의 하여 사용함.
- 같은 작업 수행 체크 로직을 LOG 쌓기 바로 전에 수행하여 중복 수행 발생 가능성을 최소화 함
- 변수 값 설정 로직(ODI의 경우, 새로고침)이 변경 될 요지가 많은 경우, 반드시, 작업에 영향이 없는 Oracle Stored Procedure or Function으로 구현하여, 이 후, 수많은 변경 후에도, 일괄 적용 될 수 있도록, 부가작업이 없도록 구현함.
( ODI의 경우, 새로고침 로직에 박지 말고, Oracle Function으로 구현하는 것을 권유 함.)
- 자체 로그를 생성하는 로직에도 마찬가지로 권유함.
- 작업 배치 주기가 짧은 경우, 변수를 바인드 변수로 사용할 것을 적극 추천함. * 특히 로깅 작업시는 필수임.
( 바인드 변수의 사용 결정 구분은 플랜을 수행시마다, 새로 생성할 필요가 있느냐, 없느냐를 기준으로 함. )