• LINEで送る
  • このエントリーをはてなブックマークに追加

ETLとは、デジタルトランスフォーメーションの第一歩となる、データの整理・整頓ツールです

ETLツールとは?

ETLツールとは、組織の内外に散在するデジタルデータを抽出・収集(Extract)し、用途に応じて変換・加工(Transform)したうえで、その先にある格納先に有用な情報として配信・送出(Load)してくれる、ITプロダクトのカテゴリーの一つです。

  • Extract:引き抜く、切り抜く
  • Transform:変身、変ずる
  • Load:載せる、積み込む

前記の単語、Extract、Transform、Loadそれぞれの頭文字を略して、ETL(イー・ティー・エル)と称します。

1990年代前後から活発化したダウンサイジングとオープン化の流れを受けて、業務や用途に合わせたシステムの数が増えると同時にデータの置き場所が分散していき、データ量自体も指数関数的に増えていきました。

そこで、データの集積場所となるデータウェアハウス(Data Warehouse:DWH)という考え方が広まりましたが、下記のような理由によりデータの整理・整頓に迫られたことで生まれたのがETLツールです。

ETLツールが生まれた背景

  • メインフレームをはじめ、各種ITシステムの提供元によってデータの形式や文字コードなどがバラバラである
  • 各部門・担当者が更新するExcelファイルなどが、作成者によって異なる形式で作成・運用されている
  • 集めたデータはそのまま表示されるのではなく、用途に応じて加工が発生する

これらの結果、各所に点在するデータを集めると同時に一定の基準で整理したうえで、使いやすくまとめてくれる「ETLツール」が必要になったのです。

ETLツールが生まれた背景

~目次~

データフロー全体像のなかでETLツールが担う領域

ETLツールは、デジタル化されたデータが加工・共有されるデータフローの全体像のなかで、中間的な位置を担うツールです。

その特徴は、対象が「定型データ」と呼ばれる型の決まったデータに絞られるところです。財務会計や販売管理などの基幹系システム、POSや顧客管理システムなどに代表される定型データは、あらかじめ決められた項目に対して可変する値が蓄積されます。
これに対して「非定型データ」は、ルーティン化するほどの頻度がなかったり、データの発生から直接活用・共有されたりするものとして、ETLツールを介さずに利用されるという違いがあります。

データフローの全体像の中でETLツールが担う領域

日ごろからIT業務に携わる方々にとっては当たり前のフロー図かもしれませんが、ETLツールを使ったことがない方やIT以外の仕事をされている方にはイメージしにくいかもしれません。

ここでは、ETLツールを「三ツ星レストランでの食事」に置き換えて、理解を深めていただこうと思います。

ETLツールの役割を三ツ星レストランでの食事に例えると

上図のように、私たちはレストランで「食事・消化」することはあっても、その料理が提供される前の仕入れや調理に関わることはありません。家庭料理に置き換えても、レストランほど下処理に時間を割くことは難しいですし、素材の目利きも基本的にはお店の仕入れに任せています。プロの仕事とは、私たち素人のスキルや知識、経験のおよばないところで地道に成し遂げられているわけです。

ETLツールも同様に、最終的なアウトプットからはまったく見えないコンピュータのなかで、地道にコツコツとデータを整理・整頓してくれるものです。

一つだけ補足すると、ETLツールを使ったデータ処理は、レストランのシェフが一つの料理を提供するまでに要する時間より短いです。三ツ星レストランの場合、市場での仕入れから仕込み、下処理までに数時間以上かかりますが、ETLツールならわずか数分、場合によっては一瞬でその工程を終えることもあります。

ETLツールの使い方・操作フロー

それでは、ETLツールの具体的な操作フローについて、Waha! Transformerの機能を例に説明します。

タスクの作成

データの抽出から変換・送出に至るETLツールの操作では、最初に「タスク」(Waha! Transformerでは「ジョブ」)を作成し、下記のような設定を行います。
なお、一つひとつのタスクは、私たちが普段行っているレポート作成などの定型業務に該当し、ETLツール1カ所に追加していくことができます。

1.データの収集・抽出元を指定
抽出元のシステムやファイル、そのなかにある抽出項目を特定し、アクセスに必要なログイン情報などを設定します。
2.データの変換・加工方法を指定
文字コードなどデータ形式の変換方法、項目の並び替えなどファイルレイアウトの加工方法について設定します。
3.データの配信・送出先を指定
BI・DWHなどデータの配信・送出先のシステムの項目を特定し、アクセスに必要なログイン情報などを設定します。
タスクの作成

タスクの実行

作成したタスクの動作テストが終わり抽出元のデータが更新されたら、タスクの実行です。
Waha! Transformerでは、作成したタスク(ジョブ)の[実行]ボタンをクリックするだけ。
さらに、「毎朝8時」のような日次・定時処理はもちろんのこと、例えば自社の営業日カレンダーをマスターデータとして設定した上で、「年末年始は実行しない」のように、柔軟なスケジューリングで自動実行することもできます。

タスクの改修

作成したタスクは、実行担当者の異動や退職などでログイン情報が変わったり、抽出・送出先のシステムでネットワーク構成やデータ保存場所が変わったりした場合、設定情報を変更しなければいけません。
Waha! Transformerであれば、作成したタスク(ジョブ)ごとに設定情報をHTMLファイルとして保存できるので、設定項目のどこを変更すればよいか探しやすいです。さらに、タスク(ジョブ)ごとの改修履歴も保持しているので、「前の設定に戻したい」場合など改修の手間を大幅に減らせます。

ETLツール『Waha! Transformer』を実際に操作できる

ほぼ毎月開催! 参加無料!
Waha Transformer ハンズオンセミナー
お申し込みはこちらから

ETLツールと周辺ツールとの違い

ETLツールは、各種業務アプリケーションやデータベース、Excelやテキストファイルのデータを連携させてくれるツールですが、同様の機能を持った周辺ツールがいくつかあります。

  • 「実際のところ、どのツールを入れればいいの?」
  • 「それぞれのツールの特徴は?」
  • 「ツール選定のポイントは?」

などなど、お困りの方からのお問い合わせが少なからずあります。
私たちのお勧めは「まず、データ連携基盤をETLツールで構築しましょう。」となりますが、このセクションでは、ETLツールと周辺ツールとの違いや特徴を整理してみます。

ETLツールと周辺ツールの比較表

ここではデータ活用・データマネージメントという観点で、ETLツールと周辺ツールの特徴的なところをまとめてみます。
各ツールとも、一般論・外形的なところからできるだけ客観的に俯瞰していますので、個々の製品・サービスによって相違点はあるかもしれません。細かいところで違和感がある場合はどうかご容赦ください。

カテゴリー ETL EAI BI・DWH RPA
目的 データ連携 データカタログ データ分析 データ更新
役割 Data Transformer Data Integrator Data Analyzer Data Updater
分類 ミドルウェア 業務アプリケーション ミドルウェア
起点 データフロー 業務フロー
主管 IT管理者 データ管理者
前提 事前に入力・生成されたデータを加工・流用するために利用する
対象データ 定型・構造化データ
※基幹系システムなどRDB等に格納される定型データの加工処理を機械化することで作業効率を向上
※ビッグデータなど非定型・非構造化データも収集・保管する「データレイク」の機能を有するものもある
処理頻度 定常 随時 随時 定常・随時
データ保管 × ×
選定ポイント データ処理性能 データ連携範囲 グラフ・チャート生成 自動化の範囲

いかがでしょう?
比較項目などはまだまだあるかと思いますが、その際はぜひ、お問い合わせフォームからご意見をお寄せいただければ幸いです。

それではここから、比較した各ツールごとに解説させていただきます。

ETLツールとEAIの違い・選び方

EAI:Enterprise Application Integrator(業務アプリケーション統合)

EAIとは、組織内外にいくつもある業務アプリケーションのデータを統合:カタログ化するITプロダクトのカテゴリーです。

ETLツールがRDBを中心に日次や月次など定時・定常的な大量データの更新を担うために“データ処理性能”が重視されるのに対し、EAIは幅広いアプリケーションを対象に、随時・リアルタイムな差分・少量データの更新を目的としているので、データの更新頻度と範囲によってETLツールと使い分けられることが多いと言えます。

EAIはカタログとしてデータ一覧機能を有しますが、ETLツールは自らの管理下にデータを保管しないため、データセキュリティという観点では、ETLツールの方が運用が容易になるでしょう。

これらの違いから、ETLツールとEAIを併存させることもできますが、データ連携対象の業務アプリケーションがETLツールでカバーできるのであれば、データの処理性能やセキュリティといった観点からETLツールを選択する方が、合理的な選択となるのではないでしょうか。

ETLツールとEAIの違い・選び方

ETLツールとBI・DWHの違い・選び方

BI:Business Intelligence/DWH:Data ware House(データ分析基盤)

データ分析ツールとデータ保管庫のセットにより、データ分析基盤と呼べるのがBI・DWHです。

データ分析を行うためには、分析テーマの入口や定点観測ポイントとしてのグラフやチャートがまずあり、その表示機能:ビジュアライズを担うのがBIツール、そこで表示させる基礎データを収集・保管しておく機能がDHWです。

DWHがあればETLツールは不要ではないか、あるいはデータプレパレーションツールが付帯していればよいのではないか、と聞かれることがありますが、BI・DWHが1システムだった場合、分析対象データを収集・加工する機能まで担わせてしまうことでシステム全体の負荷が高まり、最も大事なデータの深堀り:グラフ・チャートからのドリルダウンなど分析のための操作がサクサク動かないといった事態が生じます。

特に、AI・ビッグデータ分析が2010年代にバズワードとなって注目されましたが、ビッグデータを放り込んでおくデータレイクは用意されているものの、分析のための前処理(変換・加工)には想像以上のスキルと手間がかかることから、肝心な分析のためのデータを整理・整頓しておくところで、ETLツールが見直されるシーンが多くみられます。

このように、収集~保管~表示といった要素を分離して個別最適化しておくことが、データ分析によって有用な情報を得るための快適なシステム基盤をつくる上でのキモと言えるでしょう。

ETLツールとBI・DWHの違い・選び方

ETLツールとRPAの違い・選び方

RPA:Robotic Process Automation(データ更新ロボット)

AI:人工知能が第三次ブームとなった2000年代以降、それまで人手で行わざるをえなかったPC上での定型作業を、自動化・ロボット化するRPAが注目されるようになり、馴染みの深いExcelのマクロが、PCのデスクトップ作業全体に拡張するイメージで広まりつつあります。

ETLツールによるデータ収集は、データソースのシステムに直接接続してデータを取得できる必要がありますが、例えばその対象が商用のWEBサービスであるなど、ETLツールが直接接続することができないようなケースがRPAの出番になります。

具体的には、利用しているWEBサービスのデータ提供方法としてAPIなどが提供されておらず、条件指定したCSVファイルのダウンロードなどに限定されている場合などがあります。この条件指定とダウンロード作業をRPAが担い、ダウンロードファイルが特定のフォルダーに保存されたタイミングで、ETLツールのタスクが起動するといったデータフローが考えられます。

データ・マネジメントという観点であれば、ETLツールと組み合わせることで最も効果が高まるのがRPAと見ることもできますし、RPAだけでETLがない場合、RPAのポテンシャルが充分に発揮できないことが起こりえる点には注意が必要でしょう。

ETLツールとRPAの違い・選び方

ETLツール:Waha! Transformerの動作環境

ETLツール:Waha! Transformerの対応データソース

V5.3:2020年6月1日現在の対応状況です。
各種ODBC 対応データベースについての詳細はお問い合わせください。

  サポート対象 動作実績あり
データベース Oracle Database 11g、12c、18c、19c 8i、9i、10g
Microsoft SQL Server 2012、2014、2016、2017、2019 2000、2005、2008、2008 R2
IBM Db2 for Windows/UNIX V9.7、10.1、10.5、11.1 V8.x、9.1、9.5
IBM Db2 for i 7.2 5、5.4、6.1
MySQL V5.7、8.0 V5.6.10 ~
PostgreSQL V9.5、9.6、10、11、12 V9.3、9.4
Amazon RDS(Oracle、SQL Server、MySQL、PostgreSQL) ※1  
DWH Dr.Sum EA V3.0 SP2、V4.0、V4.0 SP1、V4.1、V4.2、5.0、5.1 EA V2.5
Amazon Redshift IBM Red Brick Warehouse 5.x/6.x
ERP SAP ERP 6.0、S/4 HANA R/3 4.6C
Application Microsoft Access 2010、2013、2016、2019 2000、2002、2003、2007
Microsoft Excel ( xlsx, xlsm, xls 形式のファイルをサポートします。)  
Salesforce CRM salesforce.comサイボウズ・kintone  Adobe Marketo Engage
その他、動作実績 その他、IBM DB2 UDB for zOS、HiRDB、Caché、SAP HANA 等の動作実績多数

※1 Amazon RDS の対応バージョンは、各データベースエンジンの対応バージョンに従います。

ETLツール:Waha! Transformerの対応文字コード体系

V5.3:2020年6月1日現在の対応状況です。
EBCDIC カナ、EBCDIC 英小文字、EBCDIK(日立)、ASCII、IBM 漢字、富士通JEF、日立KEIS、NEC 漢字「JIPS、JIPS(E)」、JIS、シフトJIS、日本語EUC、JASTEM、Unicode「UTF-8、UCS-2」、中国 GB18030、BIG5、中国 IBM(GB Host)

  • 漢字、非漢字の混在文字列に対応
  • ユーザ定義テーブルによる外字対応
  • 漢字はすべて JIS83 対応。JIS78 と JIS83 の変換は外字テーブルを提供
  • Unicode はビッグエンディアン / リトルエンディアン、サロゲートペア対応

ETLツールの導入で期待できる効果

ここまで読んでいただいた方は、すでにETLツール導入のモチベーションが高まったかもしれませんが、あらためて導入後に期待できる効果をピックアップしました。

部分最適やサイロの集合体だった情報を有機的に連携

情報システムとは、ビジネス≒業務上必要な“情報”を入力・更新し、必要な人が必要な時に必要な“情報”を参照・取得できるようにするためのコンピューターシステム“のはず”です。
ところが、役割分担の多様化や専門化が進むにつれ、主として情報を入力する人たちに最適化されたシステムがどんどん増えていくことで、情報を使う側の立場の人たちは一ヶ所で必要な情報を取得することが困難になっていきます。すでにそうなってしまっている方はもちろん、これからそうなってしまいそうな方もぜひ、シームレスなデータ連携基盤がもたらす効用を洗い出してみてください。
部分最適やサイロの集合体だった情報を有機的に連携

定型タスクの実行に要する時間を大幅に削減

作業時間を一気に減らせることが、いちばん大きな効果でしょう。『働き方改革』が浸透するなかで、労働時間は減っても作業時間が変わらなければ、品質の低下などに影響が出てきます。それでは本末転倒ですから、まずはどれだけ時間が減らせるか自分のタスクから洗い出してみましょう。

バラバラだった作業手順を標準化

人手に頼っていた作業がITツールを使うことで機械化・自動化できると同時に、Waha! Transformerで作成したジョブによって標準化されます。極端にいえば「実行ボタンを誰がクリックしてもレポートが更新できる」のです。
また、前述したジョブ設定のHTMLドキュメントは設定仕様書や簡易マニュアルとして共有できます。これにより、前任者から引き継いだものの実際の作業時にやり方がわからないといったトラブルも防げます。
注意点として、自動実行しているジョブが誰もわからないという状況は避けなければなりません。HTMLドキュメントはすべてのジョブごとに作成しておき、引き継ぎの際に漏れが生じないようにすると安心です。

ETLツールを導入するために検討しておきたい3つのポイント

ETLツールについて大まかに解説してきましたが、いざETLツールを導入すると、どのような観点で検討を進めればよいのかイメージできない方もいらっしゃると思います。ここで3つのポイントにまとめましたので、ぜひ参考にしてください。

ETLツール検討ポイント1:ETLツール導入の目的と目標をはっきりさせる

せっかく導入したのに、結局使わなかったというケースは、よく見られます。ツール導入の目的と目標がなかったり、あっても絵に描いた餅で誰も覚えていないといったケースほど、その確率が高い印象があります。

裏を返せば、すべての利用者が目的と目標に納得し、「これを活用しない手はない!」と高いモチベーションがあるときに導入すれば、成功する確率は高くなります。

  • 『目的』の例:月次締め処理後のレポート作業を最小化して、現場に余裕をつくる
  • 『目標』の例:30人が毎月末に5時間ずつ(=計150時間)かけていた定型作業を、15分に短縮する

このように、業務とプロセスの数だけ目的と目標を明文化しておけば、仮にPoC(Proof of Concept)やスモールスタートで1業務からスタートとしても、対象部門を選ぶ理由が見いだしやすくなりますし、本格的に全社展開となる場合には優先順位付けの理由になります。時間の許す範囲で、広範な部門や業務のフローを整理しておくことをお勧めします。

ETLツール検討ポイント2:ETLツールがカバーするシステム数やデータ量、処理に要している工数を調査する

前項の“目標”を定義するために必要な、定量データを集めましょう。対象システムの数やデータ量の調査はIT部門主導で集めやすいと思いますが、人的工数の調査は改善インパクトが大きくなるであろう現場部門から協力を仰ぐ形で収集していくとよいでしょう。

その前提として、IT部門と現場部門のコミュニケーションが日常的に円滑で、すでにETL導入の効果が見込める部門が顕在化していると理想的です。そのような場合も可能な範囲で複数部門をカバーして、潜在的な課題や問題の発見につなげる活動も見据えておきましょう。

ETLツール検討ポイント3:導入効果の仮説を立てる

ビジネスでもスポーツでも、成功イメージを持つことはマインドセット面でも大変有効です。導入プロジェクトのコアメンバーだけでもブレーンストーミングの機会を設け、目標としてピックアップした効果以外にどんなメリットが生まれるかなど、ポジティブな意見を出し合ってみましょう。

データマネジメントのプロジェクトにおいては、「入力・集計に必死だったころには見てもいなかったけど、集計後のレポートで異常値が見えてくるようになった」といった声を、複数の組織で聞かれるケースがあります。

「経営者感覚・当事者意識を持て」といわれても無反応だった人たちが、『課題発見能力』が明白に向上するわけです。そんなワクワクする未来がコアメンバーで共有できると、導入の成功を確信できるようになるでしょう。

ETLツールを実際に導入した企業の事例

ETLを業務基盤の中核に据えて システムの内製化を実現|UQコミュニケーションズ株式会社 様
~変化の激しい通信業界において柔軟な業務基盤の要となる「Waha! Transformer」~ 高速モバイルインターネット通信サービス「UQ WiMAX」や格安SIM によるスマートフォンサービス「U...
情報・通信
Excelデータ
システム構築
データ連携・加工
会計データ
基幹系システム
顧客データ
受注データ
商品データ
販売データ
若手人材を即戦力化する武器としてWaha! Transformerを活用|日本通運株式会社 様
~SAPとAS/400の柔軟な連携によってデータ活用を促進~ 世界47カ国、300を超える都市にグローバルネットワークを展開している日本通運株式会社では、グローバル全体で会計業務を統合すべく5年ほど前...
製造・物流
ERP移行
Excelデータ
システム構築
会計データ
基幹系システム
データ連携・加工の工数削減ツールから「頼れる存在」に|京葉ガス株式会社様
~IoT時代を見据えたデータ活用では「Waha! Transformer」が有力な選択肢に~ 京葉ガス株式会社(以下、京葉ガス)は、千葉県北西部で約90万世帯のお客さまに都市ガスを供給する都市ガス事業...
サービス業
BI・DWH
その他
システム移行
会計データ
購買データ
情報系システム
生産データ
販売データ
顧客データ
データ連携・加工
KGIS 京葉ガスグループ
Asahi Kasei
Z-Kai
Arise Innovation, Inc.
東京工業大学
Mizuno
寿がきや
DENSO
ACE
ja

ETLツール『Waha! Transformer』を実際に操作できる

ほぼ毎月開催! 参加無料!
Waha Transformer ハンズオンセミナー
お申し込みはこちらから

関連コンテンツ

社内のデータ活用でお悩みの方はお気軽にご相談ください。

導入企業様の事例を資料にまとめました。
「事例集」ダウンロード
ご不明点などお気軽にご相談ください。
お問い合わせ
30日間、無料で体験いただけます。
無料体験版

注目トピック

ETLとは、デジタルトランスフォーメーションの第一歩となる、データの整理・整頓ツールです

ETLとは、デジタルトランスフォーメーションの第一歩となる、データの整理・整頓ツールです

ETLツールとは、「組織の内外に散在するデジタルデータを抽出・収集(Extract)」し、「用途に応じて変換・加工(Transform)を行った上」で、「その先にある格納先に有用な情報として配信・送出(Load)してくれる」ITプロダクトのカテゴリーの一つです。

データ連携の自動化で正しいデータをスムーズに有効活用

データ連携の自動化で正しいデータをスムーズに有効活用

Waha! Transformerは、異なる形式のデータをスムーズに連携・統合する純国産ETL:データ連携ツールです。1999年の提供開始以来、大手企業を中心に1,800ライセンスの導入実績。SQLやプログラミングの知識がなくても使いやすいシンプルな操作性と、圧倒的な処理スピードで組織内外のデータ活用を加速します。

属人化Excelをデータベース化・情報システム化すべき理由

属人化Excelをデータベース化・情報システム化すべき理由

Excel更新ルーティンから解放されたいビジネスパーソンに向けて、Excel集計・加工作業を機械化・自動化する方法について整理してみました。