一、ETL是什么？

1.ETL簡(jiǎn)介

ETL是將業(yè)務(wù)系統(tǒng)的數(shù)據(jù)經(jīng)過(guò)抽取、清洗轉(zhuǎn)換之后加載到數(shù)據(jù)倉(cāng)庫(kù)的過(guò)程，目的是將企業(yè)中的分散、零亂、標(biāo)準(zhǔn)不統(tǒng)一的數(shù)據(jù)整合到一起，為企業(yè)的決策提供分析依據(jù)。 ETL是BI（商業(yè)智慧或商務(wù)智能，指用現(xiàn)代數(shù)據(jù)倉(cāng)庫(kù)技術(shù)、線上分析處理技術(shù)、數(shù)據(jù)挖掘和數(shù)據(jù)展現(xiàn)技術(shù)進(jìn)行數(shù)據(jù)分析以實(shí)現(xiàn)商業(yè)價(jià)值）項(xiàng)目重要的一個(gè)環(huán)節(jié)。通常情況下，ETL設(shè)計(jì)的好壞直接關(guān)接到BI項(xiàng)目的成敗，在BI項(xiàng)目中ETL會(huì)花掉整個(gè)項(xiàng)目至少1/3的時(shí)間。

E:Extract 數(shù)據(jù)的抽??；

T:Transform 數(shù)據(jù)的清洗轉(zhuǎn)換

L:Load 速度的加載

2. ETL 與ELT

ETL所描述的過(guò)程，一般常見(jiàn)的作法包含ETL或是ELT（Extract-Load-Transform），并且混合使用。通常越大量的數(shù)據(jù)、復(fù)雜的轉(zhuǎn)換邏輯、目的端為較強(qiáng)運(yùn)算能力的數(shù)據(jù)庫(kù)，越偏向使用ELT，以便運(yùn)用目的端數(shù)據(jù)庫(kù)的平行處理能力。

二、認(rèn)識(shí)kettle

1. 發(fā)展歷程

Kettle是一個(gè)Java編寫(xiě)的ETL工具，主作者是Matt Casters，2003年就開(kāi)始了這個(gè)項(xiàng)目，。

2005年12月，Kettle從2.1版本開(kāi)始進(jìn)入了開(kāi)源領(lǐng)域，一直到4.1版本遵守LGPL協(xié)議，從4.2版本開(kāi)始遵守Apache Licence 2.0協(xié)議。

Kettle在2006年初加入了開(kāi)源的BI公司Pentaho, 正式命名為：Pentaho Data Integeration，簡(jiǎn)稱(chēng)“PDI”。

自2017年9月20日起，Pentaho已經(jīng)被合并于日立集團(tuán)下的新公司： Hitachi Vantara。

2.架構(gòu)設(shè)計(jì)

Kettle是一個(gè)組件化的集成系統(tǒng)，包括如下幾個(gè)主要部分：

1.Spoon：圖形化界面工具(GUI方式)，Spoon允許你通過(guò)圖形界面來(lái)設(shè)計(jì)Job和Transformation，可以保存為文件或者保存在數(shù)據(jù)庫(kù)中。

也可以直接在Spoon圖形化界面中運(yùn)行Job和Transformation，

2.Pan：Transformation執(zhí)行器(命令行方式)，Pan用于在終端執(zhí)行Transformation，沒(méi)有圖形界面。

3.Kitchen：Job執(zhí)行器(命令行方式)，Kitchen用于在終端執(zhí)行Job，沒(méi)有圖形界面。

4.Carte：嵌入式Web服務(wù)，用于遠(yuǎn)程執(zhí)行Job或Transformation，Kettle通過(guò)Carte建立集群。

5.Encr：Kettle用于字符串加密的命令行工具，如：對(duì)在Job或Transformation中定義的數(shù)據(jù)庫(kù)連接參數(shù)進(jìn)行加密。

三、Kettle源碼下載及部署

1.源碼地址

github上面kettle的源碼下載地址:https://github.com/pentaho/pentaho-kettle