본문 바로가기

ODI

[ODI] LOG Levels in Oracle Data Integrator 작업시 참고 0=> No Log1=> Displays the start and end of each session2=> Displays level 1 and the start and end of each step3=> Displays level 2 and each task executed4=> Displays the SQL queries executed, as well as level 35=> A complete trace, inclueds level 46=> Log level 6 has the same behavior as log level 5, but with the addition of variable tracking while execution or restarting jobs. ref. http.. 더보기
[ODI] 단순 쿼리 ETL 작업 개발 주제 단순 Migration 작업 생성(DB to DB)/* 2014.11.22 천정현 작성 */ 설명 단순 Select Insert 방식으로 구현이 가능한 방법으로 ETL 을 위한 별도 로직을 심거나 수정하기는 어렵지만,(Merge/ Delete insert / Update ..) 데이터를 한번에 넘기거나, 구간을 정의해서 넘길때 유용하게 사용 가능 하다. 구성 방법 - Source System 에서 Select 부분 변수 처리 [자동 or 수동 생성] - Target SystemInsert 부분 변수 처리 [자동 생성] - Filter 사용시 수동 설정 - 프로시저를 통한 작업 수행 사용 코드 - variable 1. insert {refresh: select 'insert into -.#table .. 더보기
[ETL] 작업 관리 ETL 작업 관리 필요 요소 및 아키텍처 1. 관리 데이터 - ETL JOB LIST(ETL 작업 MASTER 정보) - ETL JOB LOG(ETL 작업 수행 이력) - ETL JOB MATCH(ETL 작업 DEPENDENCY) 2. 로직 구현 - 작업에 사용하는 모든 변수는 사전에 미리 정의 하여 사용함. - 같은 작업 수행 체크 로직을 LOG 쌓기 바로 전에 수행하여 중복 수행 발생 가능성을 최소화 함 - 변수 값 설정 로직(ODI의 경우, 새로고침)이 변경 될 요지가 많은 경우, 반드시, 작업에 영향이 없는 Oracle Stored Procedure or Function으로 구현하여, 이 후, 수많은 변경 후에도, 일괄 적용 될 수 있도록, 부가작업이 없도록 구현함. ( ODI의 경우, 새로고침 .. 더보기
[ODI 11g] Win8 Installation 1. ODI 11g for All Platforms: Disk 1, Disk 2 Download URL: http://www.oracle.com/technetwork/middleware/data-integrator/downloads/index.html 2. Install. END. 더보기
[ODI] the architecture and beyond APEC ODI Expert – Mr. Sheel 과 함께 한 ODI 교육 (2011-08-17 ~ 19) 기술적인 부분의 ODI 보다는 ELT 아키텍처에 대한 이야기를 중점으로 교육을 했습니다. 주요 요약 - ETL 구조와 달리 ELT 구조는 MPP( Massively Parallel Processing - Exadata, Netezza, Greenprum ) 시스템에서 가장 강력한 성능을 보이게 되며,앞으로는 MPP 가 강해지면 강해 질수록 ETL 서버의 리소스만을 사용하는 ETL 구조보다는 강력한 리소스를 가진 MPP에서 모든 작업이 진행되는ELT 구조가 더욱 맞다. 앞으로도 MPP는 계속해서 성능이 향상 것이기 때문에 Massive한 MPP의 리소스를 사용한다는 것이 당연하다. 다른 ETL 툴도 .. 더보기

티스토리툴바