본문 바로가기

ETL Tools

[ETL] ETL 시스템 이관 작업 진행 절차 혹시나, 이 문서를 보시는 분들을 위해 남김니다. 본 문서는 작성자의 주관적인 입장에서 개인적인 정리 작업을 위해서 작성한 문서입니다. 필요시, 참고만 하시길. 또, 개발 이후의 글은 작성되지 않았습니다. ETL 시스템 이관 작업 진행 절차 분석 단계 - 작업 범위 산정 n 메뉴 화면 정리(사용/미사용/신규) - 연동 정보 정리 n 사용/미사용 여부(to-be) u 작업 범위 산정 결과 참조하여 작성 u 데이터 흐름도 참조(원천 소스 시스템 분석 필요) n 연동 방법 u Data in(소스 데이터로 사용) l 예: FTP(File): get, put l 예: DB Link u Data out(외부 시스템에 전송) l 예: FTP(File): put n 연동 신청 u from/to 시스템 정리 시 고려 사.. 더보기
[DataStage] IBM 교육 정리 개인이 주관적인 판단으로 정리한 내용이며, 사실과 다를 수 있음을 밝힘니다. 또한, 저작권과 관계없이 작업을 진행하였으며, 문제가 있는 경우, 바로 삭제 하도록 하겠습니다. 결론 file 처리가 주 목적으로 느껴짐 질문사항 - Repository 관리 방법 (파일? DB?) -> 앞으로 Database로 관리될 예정임, 지금 현재 버전 8.7 은 이관 진행 중으로 보임. - 소스 시스템과 타겟 시스템이 같은 경우, 복잡한 로직을 구현할 때, 어떤 방식의 개발 방법을 선호하는지.. -> 프로시저 호출 방식이 아닌 Datastage 서버를 사용하는 방법을 기본으로 보고 있다고는 하는데 작업이 몰리거나, 성능상에서 우위에 있다고 보기는 힘든 것으로 보임. - 다량의 데이터 ETL 작업을 수행할 경우, 리소스 .. 더보기
[ODI] File Server 정보(참조 URL) File 관련 URL- http://docs.oracle.com/cd/E14571_01/integrate.1111/e12644/files.htm#ODIKM454 Setting up the Topology- http://docs.oracle.com/cd/E14571_01/integrate.1111/e12644/files.htm#CJABICFD File encoding parameter 종류- http://docs.oracle.com/javase/1.4.2/docs/guide/intl/encoding.doc.html ODI11g: Creating an ODI Project and Interface: Exporting a Flat File to a Flat File- http://www.oracle.com/w.. 더보기
[ODI] "SESS_NO" 사용시 literal 발생 방지 프로시저 호출시 literal이 발생하는 에 대하여 jython 호출 방식으로 변환하여 파라미터로 넘길 수 있도록 변경한다. 테스트 0. 개발 환경 구성 (Config test environment) --1. create table script create table sess_no_test (sessno number, insert_date date default sysdate) ; create table password_test (passwd varchar2(100), insert_date date default sysdate) ; select * from odi_wrk.sess_no_test order by 2 desc; select * from odi_wrk.password_test ; --2. cr.. 더보기
[ODI] Upgrade ODI from 10g to 11g Upgrade ODI from 10g to 11g. ODI Upgrade 절차 및 고려사항 정리. on 2012.10.16 Written by Jeonghyeon, Cheon. 1. Literal SQL 오류 쿼리 정리 A. SQL 특성에 따른 해결 방안 Sql 대분류 설명 Sql 소분류 설명 해결 방안 Internal SQL ODI 솔루션이 내부적으로 수행하는 쿼리 N/A N/A 11.1.1.6.4 버전 업그레이드 진행 후, 발생 빈도 확인 ODI 구현 SQL ODI를 사용하여 사용자가 구현한 쿼리 배치 SQL Interface, Procedure 등으로 구성된 ETL 작업 ETL 작업을 수정 ODI 구현 SQL 상동 Procedure SQL Log 작업등과 같이 ETL 작업 선 후행으로 수행하여야 하.. 더보기

티스토리툴바