APEC ODI Expert – Mr. Sheel 과 함께 한 ODI 교육 (2011-08-17 ~ 19)
기술적인 부분의 ODI 보다는 ELT 아키텍처에 대한 이야기를 중점으로 교육을 했습니다.
주요 요약
- ETL 구조와 달리 ELT 구조는 MPP( Massively Parallel Processing - Exadata, Netezza, Greenprum ) 시스템에서 가장 강력한 성능을 보이게 되며,앞으로는 MPP 가 강해지면 강해 질수록 ETL 서버의 리소스만을 사용하는 ETL 구조보다는 강력한 리소스를 가진 MPP에서 모든 작업이 진행되는ELT 구조가 더욱 맞다. 앞으로도 MPP는 계속해서 성능이 향상 것이기 때문에 Massive한 MPP의 리소스를 사용한다는 것이 당연하다. 다른 ETL 툴도 Push down Optimization 과 같은 ELT 유사 기능을 사용할 수 있지만, 사용할 경우, ETL 툴만의 Data Lineage를 사용하지 못하고, 거의 하드코딩식의 개발이기 때문에 유지보수에 어려움을 겪게 되는 많은 단점이 있다. 그리고 ETL 툴이 ELT 구조를 사용한다는 의미는 ETL 서버 자체를 사용하지 않는다는 것 이므로 ETL 툴을 사용할 이유까지 사라지는 것이 된다. 하지만 ODI 는 Architecture다. ODI 만의 개발 기능은 거의 없다.
- Architecture 다 라는 식으로 계속 강조 하여 설명함.
- 전체적인 데이터 흐름을 IBM 툴과 비교하면서 설명
CDC ETL Data Quality MPP
IBM: IBM CDC Tool – Datastage - Qualitystage - Netezza
Oracle: OGG - ODI - OracleDQ - Exadata
거의 같은 구조로 차이를 낼 수 있는 부분은 ETL과 ELT ODI 밖에 없음.
- ODI의 장점으로는
1. ETL -> ELT
2. 빠른 개발 속도 GUI
3. 유연성 AGENT 및 확장성 KM
4. 통합 환경의 일관성 KM이라는 룰이 정해져 있어 모든 작업의 룰이 정해진다.
5. Open Architecture Java, extensive
- 성능 관점
1. JDBC is Poor. JDBC 를 이용한 데이터 로딩 방식은 성능 차이 별로 안나는 소용량 ETL 작업에서나 사용해야지 대용량에서는 택도 없다.
2. 대용량 different DB to DB일 경우 최고의 데이터 이전 방법은 OdiSqlUnload를 이용하여 타겟 서버에 File로 내린 다음, Externel table 방식을 사용하여 데이터를 로딩하여 사용하는 방식이 최고.
3. Network를 통한 데이터 전송이 적으면 적을수록, Transformation 작업이 복잡하면 복잡할수록 ELT 구조인 ODI에게 강점이 될수있다.
4. 1:1 매핑 대용량 데이터를 이관 시에는 ODI가 ETL 서버를 이길 수 없다.
5. ETL의 단점은 모든 Transformation을 Row by Row 형식으로 처리 하기 때문에 대용량 변환이 있을 때는 불리함.
6. POC를 할 경우에는 ETL과 ELT Architecture 자체가 다르기 때문에 같은 환경아래서 작업할 생각도 하지 말 것. ETL 환경에서 작업 할 필요가 없다. 왜 일부러 불리한 환경에서 작업을 하냐
- 기타
1. 많은 필요 KM 들은 Oracle internel site 에 정리해서 올려놓을 예정. 외부 파트너는 Oracle을 통해서 받을 수 있음.
2. 오라클 내부 ODI 교육 자료를 주었음. (Hands-On Training, 용량 - 17G, 포함 내용 – VM, 트레이닝 자료, 각종 문서) -> 천정현 사원에게 있으니 필요한 분은 요청 바람.
3. Sheel은 Sunopsis 시절부터 있었던 멤버이긴 하나 ODI를 만들고 개발한 개발자가 아니라, Presales를 한 사람으로 개발에 대한 많은 도움을 받지는 못하였습니다.
허나, Sheel은 ODI를 다루기 전에 Datastage나 Sunopsis 회사에서도 있던 사람이라, ETL 에 15년동안 일해봐서 아는데, 뭐 ODI가 좋다고 함.
4. 질문 요청사항: ODI 10g Agent 관련 이혜영 대리님이 요청한 load balancing, failover, Memory 관련 질문을 하였으나, 11g에서 문제점이 해결되었다는 말만 할 뿐, 10g 버전에서 관련 작업에 대한 실질적인 답변은 듣지 못했습니다.