본문 바로가기

Oracle Data Integrator

[ODI 11g] LKM using Named pipe for performance enhancement 성능 향상을 위한 Knowledge Module 개발 - Named pipe 사용 l LKM Oracle(OdiSqlUnload) to SQLLDR(PIPE) Description: 이 Loading KM 은 기존에 Cezer 님이 만든 OdiSqlUnload을 사용하여 Unload 한 후 SQL * Loader를 사용하여 Load하는 로직이 담겨 있는 LKM OdiSqlUnload(File) to Oracle (SQLLDR) 과 같은 로직을 사용 한다. 하지만 이 KM에서는 파일에 데이터를 다 내린 후에 로딩 작업을 진행하지 않고 파이프 방식을 사용하여 Unload를 하는 동시에 SQLLDR를 통해 Load 함으로써 시간을 단축시킬 수 있다. Option: 이름 기본값 설명 CREATE_TARGET_T.. 더보기
[ODI 11g] OPMN로 Standalone Agent 관리 설명: StandAlone Agent의 프로세스를 관리를 위해 OPMN(Oracle Process Monitoring and Notification Server)을 설치하고 Agent를 추가하는 작업을 진행 기능: Process Monitoring – Agent 실행 상태 확인 Logging – 상태 이상 발생시 자동 로그 관리 Failover – Process 중지 시 자동 재 실행 l OPMN는 ODI 설치 시에는 포함되어 있지 않으므로, 별도의 Oracle 제품을 설치하여 사용하여야 한다. l Oracle Application Server 설치 시에는 OPMN이 포함되어 있고 Oracle Product도 일부 포함하고 있는 제품이 있음 l 이미 OPMN이 설치되어 있는 경우는 OPMN 설치 순서 S.. 더보기
[ODI 11g] JavaEE Agent 구성 따라하기 (Create JavaEE Agent in ODI 11g) Oracle Data Integrator 11g 버전은 Agent를 Weblogic 에 올려 사용할 수 있다. 이점: 클러스터링, Failover, 로드밸런싱 기능 테스트 순서는 다음과 같다. 1. WLS 설치 2. ODI 설치 3. Topology에서 Agent 생성 & WLS Templete (jar 파일) 생성 4. WLS 도메인 생성 5. Credential 생성 6. WLS 도메인 확장 7. WLS 서버 시작 8. 접속 테스트 9. 작업 실행 후 로그 확인 참고 사항: 이 테스트는 환경에 따라 조금씩 달라지겠죠? 현 테스트 환경 1. Install Oracle Weblogic Server (웹로직 설치) 거진 넥스트니까 Skip 버전: 10.3.3.0 * 10.3.4.0 은 호환이 안된다고 한다.. 더보기
ODI ETL JOB LOG 재처리 자동화 2.0 재처리 자동화 로직 목적 : 서버가 다운되던지 예상치 못한 작업 지연 발생시 로그테이블을두고 데이터 적재시간을 관리하여 지연 재처리를 자동화 하도록 구현한다. ETL_JOB_LOG V.2.0 로직 LOGIC DESCRIPTION 1. 데이터 추출 범위 설정 소스테이블에서 가져올 데이터의 기간 구간을 설정 (기준 : 1일) EX ) 1일 = 1, 1시간 = 1/24, 30분 = 1/48 2. 데이터 추출 시작 시간 설정 소스테이블에서 데이터를 가져올 추출 시작시간을 설정 ETL JOB LOG에 관리되는 테이블에서 마지막 추출 시간을 가져오는방식 해당 JOB의 로그가 발생되지 않은 상태에서는 현재시간을 가져오도록구현( 변경 가능 ) * 최초 시작시간을정확한 시간에 가져오고 싶을 경우 - 데이터를가라로 삽입하.. 더보기
Variable Looping Test in Package ODI ODI 변수 : for 문 돌리기 패키지에 변수를 사용하여 다음과 같은 loop 기능을 수행하도록 구현할 수 있다. int v_looping = 1; for(; v_looping < 10; v_looping++) { call if.test; } 테스트. 1. 변수 생성 .1 V_LOOPING 생성 이름 : V_LOOPING 데이터 형식 : 숫자 동작 : 지속적이지 않음 기본값 : 0 2. 테스트 인터페이스 작성 .1 http://widecheon.tistory.com/222 참조 하여 인터페이스 구성 - 간단한 테스트용 인터페이스 구성 (중요하지 않음) 3. 패키지 구성 .1 변수 설정 ( 초기 변수 설정 부분 ) .2 변수 계산 ( 체크 부분 ) .3 JOB 구성 ( 루프 안의 명령 부분 ) LOOP .. 더보기