etl job log 썸네일형 리스트형 [ODI] "SESS_NO" 사용시 literal 발생 방지 프로시저 호출시 literal이 발생하는 에 대하여 jython 호출 방식으로 변환하여 파라미터로 넘길 수 있도록 변경한다. 테스트 0. 개발 환경 구성 (Config test environment) --1. create table script create table sess_no_test (sessno number, insert_date date default sysdate) ; create table password_test (passwd varchar2(100), insert_date date default sysdate) ; select * from odi_wrk.sess_no_test order by 2 desc; select * from odi_wrk.password_test ; --2. cr.. 더보기 [ODI 11g]ODI JOB LOG Version 1.2 --ODI Job log Table create script (Ver 1.2)--Date. 2012.04.17--Owner. WideTNS Co, Ltd.--Created by Cheon Jeonghyeon /* 버전 변경사항 1. 작업 건수 추가 ( INSERT, UPDATE, DELETE, ERROR ) 2. PK 추가 (세션 번호, 작업 시작 시간) * 이유: 한 세션에서 작업을 일회성이 아닌 LOOPING 작업을 통해 진행하여야 하고 그 사항을 기록하여 추적하고 싶을 경우가 발생하여, 세션번호 하나만 가지고는 데이터를 판별하는 것이 불가능하여 작업 시작 시간을 추가함. 물론 이 추가 작업으로 인해 데이터 무결성에 문제가 발생할 수 있으므로 이후 PK 변경이 필요할 듯 보인다. */ -- Gener.. 더보기 ODI ETL JOB LOG 재처리 자동화 2.0 재처리 자동화 로직 목적 : 서버가 다운되던지 예상치 못한 작업 지연 발생시 로그테이블을두고 데이터 적재시간을 관리하여 지연 재처리를 자동화 하도록 구현한다. ETL_JOB_LOG V.2.0 로직 LOGIC DESCRIPTION 1. 데이터 추출 범위 설정 소스테이블에서 가져올 데이터의 기간 구간을 설정 (기준 : 1일) EX ) 1일 = 1, 1시간 = 1/24, 30분 = 1/48 2. 데이터 추출 시작 시간 설정 소스테이블에서 데이터를 가져올 추출 시작시간을 설정 ETL JOB LOG에 관리되는 테이블에서 마지막 추출 시간을 가져오는방식 해당 JOB의 로그가 발생되지 않은 상태에서는 현재시간을 가져오도록구현( 변경 가능 ) * 최초 시작시간을정확한 시간에 가져오고 싶을 경우 - 데이터를가라로 삽입하.. 더보기 로그로 스케쥴링관리ODI ETL JOB LOG - v1.3 ODI ETL JOB LOG - v1.3 1. 목적 : 1. ETL Batch Job의 재처리 용이성, 2. 로그 테이블 관리를 통해 보다 쉽고 정확히 관리하기 위해 개발 2. 기능 : 1. 적재 시작 시간과 종료 시간저장을 통한 데이터 누수 확인의 용이성 2. 재처리 시, 기존의 배치주기를 유지하여 대용량을 한꺼번에 처리하지 않도록 구현 3. 재처리가 완료되었을 경우 바로 기존의 스케줄링 형태로 돌아가도록 구현 4. 재처리 작업 중, 스케쥴링에 의한 배치가 실행되었을 경우 하나만 실행되도록 구현 CREATE TABLE ETL_JOB_LOG ( SESS_NO NUMBER, SESS_NAME VARCHAR2 (30), ETL_START_TIME VARCHAR2 (14), ETL_END_TIME VARCHA.. 더보기 이전 1 다음
