본문 바로가기
[ETL] ETL 작업에 대한 작업 검증 방안 작성일: 2012.09.11작성자: 천정현 본 글은 ETL 검증시 내가 참고 하기 위해서 만든 글로, 주관적인 방법임을 명시합니다. 읽으시다 잘못된 부분이나, 추가 정보가 잇는 경우 댓글로 남겨 주시면, 소정의 상품을 드리도록 하겠습니다. 0. 로직 검증(Logic Verification) - ETL 수행 로직이 적절한지 여부를 판단한다. * 필터 절: 잘못 들어 오거나 빠지는 데이터가 있는지 확인 * 조인 절: 조건에 의해서 중복되는 데이터가 발생하는지(Key Check), 데이터가 의도치 않게 걸러지는 것이 있는지(Outer join, Inner join) 확인 1. 건수 검증(Count Verification) - 팩트테이블의 건수와 소스 테이블의 테이블 조인 및 필터 조건 추가된 쿼리에서의 건수를.. 더보기
[ODI Repository] 일정 정보 출력 쿼리 (select Scheduling Scenario & Load Plan) 쿼리 테스트 환경 정보ODI Version: 11.1.1.6Repository DB: Oracle 11g (Exadata)현재 일정이 걸려 있는 오브젝트(시나리오, 로드플랜)에 대한 정보를 확인하는 쿼리 /*2012.09.07Created by Cheon, jh스케쥴링 정의서 참조 쿼리(information on scenarios and load plans you've made schedules)*/ SELECT "로드플랜 명", "시나리오 명", "버젼", "배치시간", "배치주기", "에이전트 명", "컨텍스트 명", "생성일자", "작업방법", SYS_CONNECT_BY_PATH(STEP_ORDER, '/') "LOAD_PLAN 계층 순서"FROM (SELECT DECODE(IND_JOB_TYPE,.. 더보기
[ODI Repository] SHOW ALL SCENARIO SCHEDULED AND TIME. 모든 일정 보기 스케쥴링되어 있는 모든 일정을 쿼리를 통해서 확인할 수 있다. /* * 2012.08.28* 로드플랜 케이스 적용* 로드플랜 명으로 조인 이 후 변경할 듯 */ SELECT DECODE(IND_JOB_TYPE,'S',NULL,C.SCEN_NAME) "로드플랜 명", DECODE(IND_JOB_TYPE,'S',C.SCEN_NAME,B.LP_STEP_NAME) "시나리오 명", DECODE(IND_JOB_TYPE,'S',C.SCEN_VERSION,B.SCEN_VERSION) "버젼", C.LAGENT_NAME "에이전트 명", C.CONTEXT_CODE "컨텍스트 명", S_YEAR||LPAD(S_MONTH,2,'0')||LPAD(S_DAY,2,'0') "생성일자", LPAD(S_HOUR,2,'0')||LP.. 더보기
[ODI Repository] 통합매핑정의서 생성시 참조 쿼리 통합 매핑 정의서 작업 리스트 참조 쿼리 2012.09.07 변경 사항 1. 프로시저 포함2. output format 정리 /* 2012.09.07 created by cheon, jh.통합 매핑 정의서 */ WITH A AS (SELECT P.I_FOLDER, P.I_POP, P.POP_NAME, P.LSCHEMA_NAME||'.'||TT.TABLE_NAME TARGET_TAB, S.LSCHEMA_NAME||'.'||ST.TABLE_NAME SOURCE_TABFROM SNP_POP P, SNP_DATA_SET DS, SNP_SOURCE_TAB S, SNP_TABLE TT, SNP_TABLE STWHERE 1=1AND P.I_POP = DS.I_POPAND DS.I_DATA_SET = S.I_DATA_.. 더보기
[ODI Repository] Interface Info, Table Flow Info /*Created by Cheon.jhCreeted on 2012.05.30ODI Version. 11.1.1.6Object: 전체 Interface 작업 당 소스 테이블과 타겟 테이블의 관계를 나타낸다. subquery를 사용하였을 경우, 그 내역까지 추적하여 테이블 단위로 나타낸다. */SELECT P.I_POP, P.LSCHEMA_NAME||'.'||TT.TABLE_NAME TARGET_TAB, P.POP_NAME, S.LSCHEMA_NAME||'.'||ST.TABLE_NAME SOURCE_TABFROM SNP_POP P, SNP_DATA_SET DS, SNP_SOURCE_TAB S, SNP_TABLE TT, SNP_TABLE STWHERE 1=1AND P.I_POP = DS.I_POPAND DS... 더보기

티스토리툴바