[ETL] 작업 관리 ETL 작업 관리 필요 요소 및 아키텍처 1. 관리 데이터 - ETL JOB LIST(ETL 작업 MASTER 정보) - ETL JOB LOG(ETL 작업 수행 이력) - ETL JOB MATCH(ETL 작업 DEPENDENCY) 2. 로직 구현 - 작업에 사용하는 모든 변수는 사전에 미리 정의 하여 사용함. - 같은 작업 수행 체크 로직을 LOG 쌓기 바로 전에 수행하여 중복 수행 발생 가능성을 최소화 함 - 변수 값 설정 로직(ODI의 경우, 새로고침)이 변경 될 요지가 많은 경우, 반드시, 작업에 영향이 없는 Oracle Stored Procedure or Function으로 구현하여, 이 후, 수많은 변경 후에도, 일괄 적용 될 수 있도록, 부가작업이 없도록 구현함. ( ODI의 경우, 새로고침 .. 더보기 [ODI 11g] Win8 Installation 1. ODI 11g for All Platforms: Disk 1, Disk 2 Download URL: http://www.oracle.com/technetwork/middleware/data-integrator/downloads/index.html 2. Install. END. 더보기 [ETL] ETL 시스템 이관 작업 진행 절차 혹시나, 이 문서를 보시는 분들을 위해 남김니다. 본 문서는 작성자의 주관적인 입장에서 개인적인 정리 작업을 위해서 작성한 문서입니다. 필요시, 참고만 하시길. 또, 개발 이후의 글은 작성되지 않았습니다. ETL 시스템 이관 작업 진행 절차 분석 단계 - 작업 범위 산정 n 메뉴 화면 정리(사용/미사용/신규) - 연동 정보 정리 n 사용/미사용 여부(to-be) u 작업 범위 산정 결과 참조하여 작성 u 데이터 흐름도 참조(원천 소스 시스템 분석 필요) n 연동 방법 u Data in(소스 데이터로 사용) l 예: FTP(File): get, put l 예: DB Link u Data out(외부 시스템에 전송) l 예: FTP(File): put n 연동 신청 u from/to 시스템 정리 시 고려 사.. 더보기 [2012.12.28] 올해 마지막 퇴근 올 해 한해도 수고 많았다. 내 년에는 더 수고할 준비하고. 더보기 [DataStage] IBM 교육 정리 개인이 주관적인 판단으로 정리한 내용이며, 사실과 다를 수 있음을 밝힘니다. 또한, 저작권과 관계없이 작업을 진행하였으며, 문제가 있는 경우, 바로 삭제 하도록 하겠습니다. 결론 file 처리가 주 목적으로 느껴짐 질문사항 - Repository 관리 방법 (파일? DB?) -> 앞으로 Database로 관리될 예정임, 지금 현재 버전 8.7 은 이관 진행 중으로 보임. - 소스 시스템과 타겟 시스템이 같은 경우, 복잡한 로직을 구현할 때, 어떤 방식의 개발 방법을 선호하는지.. -> 프로시저 호출 방식이 아닌 Datastage 서버를 사용하는 방법을 기본으로 보고 있다고는 하는데 작업이 몰리거나, 성능상에서 우위에 있다고 보기는 힘든 것으로 보임. - 다량의 데이터 ETL 작업을 수행할 경우, 리소스 .. 더보기 이전 1 2 3 4 5 6 7 ··· 75 다음