TOPICS
本記事は、当サイトの人気コンテンツ「ETLとは、デジタルトランスフォーメーションの第一歩となる、データの整理・整頓ツールです」をご覧いただいた方から、ETL:データ連携ツール「Waha! Transformer」を提供するユニリタにお問い合わせいただく中でご質問をいただくことの多い「ELT」との違いについて、データフローにおける位置付けや役割の違いなどから考察してまいります。
まず始めに、ETLとELTというパッと見ただけでは空目してしまいそうな略語の違いから見てみましょう。
最初の工程:Extract はどちらも同じ、2番目と3番目の工程の順序が逆であることがわかりますが、こう見ると、単にデータフローにおける処理手順の違いだけのように見えてしまいますね。 これを具体的な動作まで考えると、Transform や Load の日本語表記を変えたように、実際にはデータ処理主体の違いと言い換えることができそうです。
単体のツール:ETLなのか、機能の一つ:ELTなのか、それぞれ特徴的なところを比較表にしてみます。
比較項目 | 位置付け | 工程1 | 工程2 | 工程3 | 使い分けのポイント |
---|---|---|---|---|---|
ETL | 単体ツール | 抽出 | 変換・加工 | 送出 | 非定型を含む大量データの 高頻度収集 |
ELT | DBの一機能 | 〃 | 受け取り | 変換 |
定型的な少量データを |
いかがでしょうか?
比較ポイントはこれ以外にあるかと思いますが、その際はぜひ、お問い合わせフォームからご意見をお寄せいただければ幸いです。
表の右端でETLとELTを使い分ける時のポイントとして、なぜELTを「少量データを低頻度で更新」としたのか。ELTをDBやDWH:データウェアハウス、データレイク自体が持つ機能一つと考えれば、特にDWH:データウェアハウスがBI・データ分析ツールを兼ねている場合など、フロントエンドでエンドユーザーが操作する分析操作のパフォーマンスに影響が生じる懸念があるからに他なりません。
BI・データ分析ツールのデータプレパレーション(前処理)機能しかり、ELT機能を内包するDWHやデータレイクの存在価値は、単体もしくは連動するBI・データ分析ツールにおけるデータの表示・分析機能にあるはずです。
例えば、月次予実のクロス集計表を表示している画面で、特定の月の特定の値をクリックした時に、裏側でデータ更新処理が動いていることでスムーズな画面遷移ができなければ、分析しようとしているエンドユーザーのストレスを高めてしまうだけでしょう。冷静にデータを見つめてインサイトを見つけ出すような思考が、ツールのパフォーマンス劣化によって阻害されてしまっては、元も子もありませんね。
左から右に流れるデータフロー図にすると、中間にいるのがETL、ゴールにいるのがELTといった違いになるのでしょう。
ELTに対するETLの最大の利点は、上図のデータフローの通り、データクレンジグに代表される変換・加工処理に専門特化した多様な機能や処理性能(量、速度)にあるでしょう。 また、ELTやデータプレパレーションのような付帯機能を持ったBI・DWHは、「自分が解釈できるデータさえ整理することができればよい」わけですから、せっかく加工したデータを他のツールで二次利用するようなシーンでは、BIツールから改めて対象データをダウンロードすることになるので、その際はELT機能としての出番がありません。
一方で、ETLに対してELTやBI・DWHのデータプレパレーション機能が有効なシーンも確かにあります。 IT投資における経済性はもちろん、1つのツールとしての操作習熟といった運用体制の面でもメリットはあるはずです。 例えば、データフロー全体の中でデータ変換・加工機能を求められるのはBI・DWHのみであるとスコープ:利用範囲を割り切れる場合などは、ETLツールを追加導入するよりは、コスパの高い投資になるでしょう。
14社の事例から学ぶ!
Waha! Transformer
実践事例集
上田:D要件として「データ連携・共有」「クラウド技術の活用」「DX認定の取得」の3つ、X要件では「全社の意思決定に基づくものであること」「一定以上の生産性向上が見込まれること」の2つを全て満たす必要がありますから、DXに全社的に取り組んでいる企業のみが対象となる税制だと思います。4月時点では計画申請書の内容が公開されておらず、詳細が明らかになるのは5月以降ですが、過去の税制から考えると、比較的いろいろな項目を記載することになるでしょう。申請書作成にあたっての最初のハードルは、D要件の1つであるDX認定取得だと考えています。すでに取得している企業は別として、これからの企業にとってはこの認定取得が必須です。
社内のデータ活用でお悩みの方は
お気軽にご相談ください。