bi-etl
突然ですがRPGで推しているキャラクター、勇者よりも賢者を選びがちな方が意外に多いという印象があります。
・愚者は経験から学び、賢者は歴史からも学ぶ
・賢者は知らぬを知り、愚者は知らぬを知らず
・賢者は愚者に学び、愚者は賢者に学ばず
聖書から孔子、シェイクスピアやゲーテまで、これだけ愚か者を卑下されてしまうと賢者の人気が高まる理由も納得できます。
そんな私たちが自らの知識や体験だけでなく客観的なデータから学び、行動に進めることを支援してくれるのがBIツールですが、ITプロダクトによくある「屍の山」、すなわちツール活用の失敗事例が積み重なっていることからも学べることがあるはずと思い至りました。
今回のトピックでは、BI（Business Intelligence）ツールの導入・活用に失敗してしまった“愚者”の組織が、パッと見だけスマートに見える“意識高い系”に陥って部分最適の沼にとらわれていくことを避けながら、自らの体験を糧に“賢者”の組織に変革していくためのポイントについて考察してみます。
“データ民主化”の即効策、Waha! Transformer「Query オプション」とは
必要な人が・必要な時に・必要なデータを簡単にダウンロードできる、とっても手軽なBIツールです。
“作れば売れる”高度成長を経て先進国の仲間入りを果たした我が国は必然的に成熟市場となり、さらに人類が初めて直面する少子高齢化・人口減少社会という要因も重なって“モノが過度に行き渡った”市場となりました。
そんな「どこを見てもレッドオーシャンに見える」市場で事業成長を続けるには、数少ない勝機を見つけると同時に迅速な意思決定を行ってビジネスを回していく必要があります。
一方で、ITの浸透と相まって高度情報化社会となった結果、成熟市場における競争優位性の維持・確立に向けた“情報戦”も活発化し、より高度なデータ分析を支えるBIツールが1990年代後半から広まってきました。
Googleトレンドのチャートを見ると、「BIツール」や「DWH」（Data Warehouse：データウェアハウス）、「ETL」はここ10年で定着しているように見えますが、AIやビッグデータでも注目された「データ分析」は一歩抜け出した右肩上がり傾向となっています。
もう一つ、IT業界のリサーチ会社「株式会社アイ・ティ・アール」による市場調査レポート「ITR Market View：DBMS／BI市場2019」では、クラウドやSaaS形態による新しいBIツールがプロダクト市場の拡大をけん引しているようです。
データ分析に関する需要やプロダクト市場は右肩上がりで拡大している一方で、BIツールの活用状況は「屍の山」になっていると言えそうです。
2018年公開の下記記事によると、BIツールの普及自体は広まっているものの、導入の効果を体感できているのは極まれなケースという状況でした。
BI（ビジネスインテリジェンス）ソフトウェアの導入が進んでいる。ガートナーが2016年11月に実施した市場調査「ITデマンド・リサーチ」によると、2000人以上の大企業の80％がBIソフトを利用中または導入中だ。2007年の53％、2010年の61％、2013年の70％と、順調に伸びてきている。（ガートナーのリサーチ部門でマネージングバイスプレジデントを務める堀内秀明氏）
しかし、調査では別の側面も見えている、と堀内氏は指摘する。BIを導入しても、BIによって成功を勝ち取った企業は少ない。「期待以上の成功」（1％）と「期待通りの成功」（9％）を合わせて、成功している企業は10％しかいない。
従来型BIの課題について堀内氏は、「当初のユーザー要件から外れたデータについては、活用するのが難しい」と指摘。要件の追加や変更に対しては追加開発で対応することになり、相応の時間を要する。この結果、エンドユーザーは、個別にデータを入手してExcelで加工することが増える。
以前のトピックでご紹介した「某グローバル製造業」では、BIツールを使った経営ダッシュボードをドリルダウンしながら深掘りしていく姿をイメージしましたが、その時に肝心なデータを見ることができず、期間を要する「追加開発」が必要だったりすれば、ユーザーのモチベーションは奈落の底に落ちてしまうことでしょう。
合わせて注意したいのが、セルフサービスBIやモダンBIを導入する際の動機についてです。
データドリブン経営が提唱される中で、幹部だけでなく組織の隅々にまで「データを根拠とした判断・企画・意思決定」という文化・風土を作り上げようという試み自体は正しいと思われるものの、誰かれ構わずセルフサービスBIを配布して「やった気」になっている組織が少なくないと漏れ聞きます。
例えば、統計解析・分析ツールの「R」をゴリゴリ使いこなせるような、情報リテラシーもITスキルも高いデータ利用者ならいざ知らず、それ以外の利用者の多くは、Excelアドインの分析ツールさえ使いこなしている方は希少でしょう。そんな利用者にポンっと新しいツールを配っても、操作の習得段階で挫折してしまわれては「データの民主化」への道はかえって遠くなってしまうのではないでしょうか。
みんなのデスクトップにあるExcelで、自由に二次加工できるデータがダウンロードできるツールがあればデータの民主化自体はスタートできるはずですから、新たなツールを配っただけでまた屍の山に埋もれていくことだけは避けた方がよいでしょう。
あと2点ほど、同記事から引用しておきます。
機能面でのトレンドは、グラフィカルなユーザーインタフェースによるデータ探索だ。表やグラフだけでなく、様々な可視化手法でグラフィックスを提供し、データの状況を分かりやすく表現する。ここにデータを取り込むための前処理（プレパレーション）のための機能もBIソフトは取り込んでいる。
（中略）
IT部門とユーザー部門の役割を再定義することが重要だ。モダンBIにおいては、IT部門はお膳立てをするだけで、あとはエンドユーザーが分析する。レポートを見るだけではなく、あらゆるデータにアクセスすることになるので、エンドユーザーにスキルが必要になる。成長してもらう必要がある。
黄色マーカーした部分、「前処理（プレパレーション）」と「エンドユーザーのスキル」も大きな落とし穴だと思われますので、それぞれ深掘りしていきます。
データ活用ツールの違い・比較資料がダウンロードできます。
ETL ツールと周辺ツール3種（EAI ／ BI・DWH ／ RPA ）との比較表およびツールごとの解説をまとめたホワイトペーパーをダウンロードしていただけます。
やはり、先のトピックでご紹介した「某グローバル製造業」のマネジメントスタイルにならって、「So What? Why So?」を真似してみましょう。
まず、BIツール導入の目的とは、下記のような課題と共に定義づけることができるのではないでしょうか。
・KKD：勘と経験と度胸で主観的に行われていた意思決定を、根拠となるデータに基づいた“知恵”による意思決定へのレベルアップが必要。
・そのために、組織内外のデータを収集・蓄積・分析できるデータ活用基盤を構築する。
◎ 情報を必要とする人が必要な時に必要なデータを分析して知見を得られることを支援するITプロダクトを導入する
× Excelよりカッコよくてキレイで目新しいチャートを描画してクリクリ動かせるITプロダクトを導入する
あえて極端な◎と×にしてみましたが、非常にマズいのは×印のケース。
これはデータ分析サービスを提供している知人から伝え聞いたのですが、既にみんなのPCで使えるExcelがあるのに多少なりとも高額なBIツールを導入しようとすると、Excelとの違いがパッと見てわかる「見た目」でプロダクトを選ぶ組織が少なくないそうです。IT業界でよく聞く「手段の目的化」に陥ってしまい、部分最適をこれでもかと繰り返すケースと言えそうですね。
そんな×印に結果的になってしまったモデルケースとして、これは過去職でとある公共団体のお仕事をした時に実体験したのですが、その組織ではいわゆるC/S：クライアント・サーバー型のセルフサービスBIを導入していました。
ところが、実際には月次更新する部門業績報告書用にKPIの月次推移表と折れ線＋棒グラフをパワーポイントに転記または貼り付けるだけ、クライアントライセンスを節約するためにサーバーにログインしてサーバーローカルアプリ1本で事足りるという利用状況でした。
KPIのうちのいくつかはBIツールが業務アプリケーションから直接データを収集するように設定しているので、Excelよりは若干手間を減らすことはできているのですが、実際には1ヶ月に一度・10分程度の削減効果でしたし、そもそもパワーポイントに貼り付けるだけのデータ更新にどのような分析意図があったのか不思議でなりませんでした。
導入したマネージャーに背景をお聞きしたところ、「分析したいことは色々あるんだけど、どんなことを分析すればよいのかよくわからないし、じっくり考える時間がないんだよね。」というお答えで、まさしく宝の持ち腐れという状況でした。
これは極端なケースかもしれませんが、“情報を必要とする人が必要な時に”というBIツール導入の目的が欠落しているところに失敗要因の一つがあるのだろうことが想像できます。
もう一つ“データ分析によって知見を得る”という目的について、
かつてのCRMやSFA、最近ではAI・ビッグデータ分析周辺もそうですが、BIツールを含めたITプロダクトは「魔法の杖ではない。」ということが、前提条件として織り込まれている必要があるはずです。
BIツールにデータを放り込んだだけでレポート画面に突然アラートメッセージが表示され、「〇〇が△△なので●●を▲▲にしてください！」といった知見がいとも簡単に得られるのなら、世界中のビジネス・エグゼクティブの多くが失職してしまいます。
ビジネスパーソンとしての“知性”と当該ビジネスに関する“知識”を持った人々が、データの収集・蓄積・加工作業をコンピューターに任せてスピードアップし、得られたデータから知恵を絞り出すことができなければ、BIツールの導入は「成功」と評価されずに「失敗」となってしまうのでしょう。
“データ民主化”の即効策、Waha! Transformer「Query オプション」とは
必要な人が・必要な時に・必要なデータを簡単にダウンロードできる、とっても手軽なBIツールです。
それでは、BIツールを活用できる人材の要件とはどのようなものになるのでしょう？
参考までに、2013年に発足したデータサイエンティスト協会が2014年に公表したデータサイエンティストのスキルセットを見てみると、定義されたスキルの3要件がわかります。
・ビジネス力
・データサイエンス力
・データエンジニアリング力
リンク先のPDFの4ページ目「図3：データサイエンティストのスキルレベル」にはぜひ目を通してみてください。
データサイエンティストのスキルレベルとして4段階ありますが、興味深い欄外部分「Data Scientist 以前の方」を抜粋してみます。
| ビジネス力 | ・ビジネスは勘と経験だけで回すものだと思っている。 ・課題を解決する際に、そもそも定量化する意識がない。 |
|---|---|
| データサイエンス力 | ・基本統計量の意味を正しく理解していない。 ・指数を指数で割り算したりする。 ・「平均年収」をそのまま鵜呑みにしたりする。 ・グラフ・チャートの使い方が不適切。 |
| データエンジニアリング力 | ・レポートされてくる数値サマリに目は通すが、特に記憶には残らない。 ・アクセス解析システムを使っていない。 ・ExcelやAccess は数字しか入れない。 |
ビジネス力については私たち全員に共通するので頭に入ってきやすいのですが、他のデータサイエンス力やデータエンジニアリング力は専門的な技能として目を背けがちですよね。
しかし、ここで例示されているのは中学・高校の数学だったり、ビジネス・パーソンとして当たり前の「情報を読み解く力」といったレベル。BIツール導入の失敗事例の中にはここで示されるような「Data Scientist 以前の方」がいるであろうことは想像に難くないので、頭の片隅に置いておきたいと思います。
特に黄色マーカーを引いたところを思い返せば、「平均値(AVERAGE)と中央値(MEDIAN)が使い分けられない」、「見栄えを重視して3Dグラフを使ってしまい肝心なトレンドや構成比率を見えにくくしてしまう」といったミスは、官公庁や上場企業が公表するレポートでも見られる現象なので注意が必要です。
このような示唆を踏まえ、BIツールの活用を成功させることができるユーザー像に置き換えてみます。
| ビジネススキルがある | 分析対象のビジネスプロセスを把握し、問題解決に知恵を絞れるレベルの知識・知見を有している |
|---|---|
| 情報リテラシーがある | 先入観や思い込みを捨て、得られた情報を疑いつつも俯瞰して読み解こうとすることができる |
| ITリテラシーがそこそこある | BIツールで得られたデータを、深掘りしたり切り口を変えたりするような操作ができる |
皆さんの上司・部下・同僚・後輩にこのような3要件が揃った人材はどれほどいらっしゃるでしょうか？
以前のトピック「某グローバル製造業」の経営ダッシュボード利用者（エグゼクティブ）は、この3要件を充分すぎるほどクリアしているであろうことがわかります。
ただ、この3要件の中でクリアするのが最も難しいのは2番目の「情報リテラシー」ではないかと常々感じています。
私たちの「情報リテラシー」がこの図のようなステップをたどって昇華していくと仮定すれば、“論理的だが合理的ではない”事象は日常のそこかしこに現れてきて頭を悩ませます。
極端な例えですが、以前聞いた犯罪心理学者のお話しを言い換えてみます。
「 犯罪者にも彼ら・彼女らなりの論理的な思考は自己中心的にあるが、犯罪がペイしないことが想像できない＝合理的な判断ができないことで悪事に手を染めてしまう。 」
BIツールの課金単位が「ユーザーライセンス」ではない場合、利用したい人すべてにアカウントを発行してしまいがちかと思いますが、それがかえって不満足を拡大させる要因になっていないでしょうか。
BIツール導入の発端は、ビジネススキルや情報リテラシーを有する人材が所属する組織がトリガーになるケースが多いでしょうから問題は生じにくいはずですが、他のセクションに横展開していく段になると、スキルが不足しているためにデータから知見を得ることのできないユーザーが、BIツールの操作以前のところでストレスを抱えてしまう状況が考えられます。
BIツールの利用には組織に応じたスキル要件を明示して、効果が見つけられないであろうことを事前に承諾した上で取り組んでもらうような運用が必要なのではないでしょうか。
無料ダウンロード
Waha! Transformer の利用者像から見えた！データ活用・分析人材の視野と視座
Webメディアのビジネス＋IT主催「データ活用・分析 2022 冬」で講演したプレゼンテーション・スライドです。
マーケティング部門をはじめとするビジネス人材向けのカンファレンスにつき、内容についてはツールよりもデータ分析に取り組む人材や、データドリブン経営を推進するための組織・風土について、Waha! Transformer をご利用いただいているお客様から学んだことを中心に紹介しています。
冒頭の記事引用で黄色マーカーしたのは、「エンドユーザーのスキル」と共に「前処理（プレパレーション）」でしたが、この「前処理」が実はクセモノであるケースが少なくないので要注意です。
BIツール導入に向けたビジネス課題として、「組織内外のデータを収集・蓄積・分析できるデータ活用基盤を構築」としました。
このデータフローにおけるBIツールの役割は「データ分析」であり、その前処理（データプレパレーション）の収集・蓄積まで担わせることでパフォーマンスが劣化し、サクサク動いてくれないことによってエンドユーザーのストレスになってしまっているという声が少なくありません。
挙句の果てには見たいデータが1時間たっても表示されないという残念なケースがそこかしこにあるという実感があります。
データの収集・蓄積・分析の各パートは「データを活用する」という全体最適に基づいた個別最適で分担させ、ダッシュボードや分析レポートがサクサク動くことが成功要因の一つと言えるのではないでしょうか。
ビジネスパーソンの教訓として有名な「段取り八分」、最近では「プレゼンテーションの成功は準備が8割」などと言い換えられているように、データ分析も準備・前処理が8割と捉えて、データの整理・整頓はBIツールに担わせるのではなく、データフローに則したツールを連動させることで、肝心なデータを表示させる段階で余計な負荷がかからないようにする必要があります。
・BI：データ分析
・DWH：データ蓄積
・ETL：データ収集・変換
ETL：データ連携ツールの「Waha! Transformer」は、その製品名の由来が「Data Warehouse（データ保管庫）のための Data Transformer（データ変換装置）」であり、1999年の提供開始から20年を超えた現在でも、その位置付けが失われることはなくかえって高まっています。
データ活用ツールの違い・比較資料がダウンロードできます。
ETL ツールと周辺ツール3種（EAI ／ BI・DWH ／ RPA ）との比較表およびツールごとの解説をまとめたホワイトペーパーをダウンロードしていただけます。
このサイトで公開している導入事例には「テーマ別：BI・DWH」の一覧がありますが、BIツールやDWH・データマートとの連携構成がわかる事例を3件ご紹介します。
分析したデータを、BI によって視覚的に加工できるのは、情報を『見せる』という狙いにとって重要なポイントです。『Waha! Transformer』で分析したデータをBI『Dr.Sum EA』との連携でわかりやすく可視化できるのは、非常にありがたい。
迅速な経営判断を支援するインフラが整い、期待していたことは概ねできた。簡単にデータ検索システムが構築できるので、現在、限られた人にしかできない統合DWHマートを構築する等の作業を他の担当者でもできるよう今後進めていきたい。
プロジェクトでは、購買業務の効率化を目的に２つの目標を掲げました。１つはサービスレベルとして「全レポートの検索時間を30 秒以内」に設定、2 つ目は「操作ステップの削減」です。どちらも達成すれば、利用者1,200 人× 削減時間＝業務効率化となります。 この目標を達成すべく、BI ツールと開発ベンダーの選定を行いました。選定ポイントは検索速度、コストバランス、Excel との親和性などです。
| 比較項目 | ユニリタ | A社 | B社 |
|---|---|---|---|
| 提案ツール（BI） | ○処理速度が速い | ○機能充実 | ○処理速度が速い |
| 提案ツール（ETL） | ◎文字コードエラー等発生せず | ○HW仕様により全件取込できず | △取込エラー発生多数 |
| コスト（開発費） | ○開発範囲を絞る提案あり | ○要件定義次第 | △開発工数が膨大 |
| コスト（ハード、ソフト） | △ライセンス費用が高額 | △HW の要求仕様が高い | ○ライセンス費用は安価 |
| 提案内容 | ◎将来の拡張性等 | ◎機能の先進性等 | ○独自色が少ない |
| Excel との親和性 | ◎アドインでより便利 | ◎自動で最新結果をエクセル表示 | ◎アドインでより便利 |
| 既存システムとの操作性の違い | ◎操作感が近く、操作ステップ減 | ○操作が大幅に変わる | ○操作感が近く、操作ステップ減 |
| 担当者の熱意 | ◎非常に高い | ○営業は積極的 | △担当者が交代 |
BIツールの導入失敗という黒歴史をなんとかリカバリーして、成功事例にしていただく方法を3つのポイントとしてまとめてみます。
Excelは汎用の表計算ツールですが、アドインの「分析ツール」を使えば私の好きな相関係数やちょっとした統計解析、回帰分析といった作業はまかなえてしまいます。
その限界はデータの量にありますので、メモリー4GB程度の事務用PCをお使いの場合でも、1ファイルで数千件程度までであれば充分こなせると位置付けておいた方がよいでしょう。
分析対象のデータ量が数万件を超えるような分析作業が、組織の中で週に何度も生じるような場合は、BI＋DWH＋ETLのデータ活用基盤を利用することを想定し、組織の分析需要を洗い出してみるとよいでしょう。
BIツール導入の目的を見直して「情報を必要とする人が必要な時に必要なデータを分析して知見を得られることを支援するITプロダクトを導入する」とする場合、“情報を必要とする人”がデータ分析スキルを有しているとは限りません。
DataOps：Data Operations（データ管理者とデータ利用者のコラボレーション）という考え方も参考にしつつ、分析対象のビジネスプロセスを把握しているか、客観的に分析結果を取り扱える情報リテラシーを有しているか、導入しているBIツールで分析作業を行うための操作スキルを持っているか、といった観点を、BIツール利用アカウントの発行プロセスに差し込んでみるとよいのではないでしょうか。
この「データ分析スキル」については事前のチェックが難しいところですが、そこで提案したいのが、「情報システム部門にデータコンシェルジュ窓口を設置」することで、先のトピックで「CIO・情報システム部門のミッション｝について考察した際に提言させていただいたところでもあります。
でも、ゼネラリストならデータを読み取ることは必須スキルと言えるので、若手のうちから「Data is King」を身につけて、システム運用に付随してリサーチャーやデータアナリストとしてキャリアを重ね、データコンシェルジュと呼ばれるまでに育ってくれればこんなにありがたいことはないでしょう。
CIO自らが「データ・コンシェルジュ」のロールモデルとなって引っ張っていく情報システム部門なら、コストセンターからプロフィットセンターへの大変革が果たせるのではないでしょうか。
組織内のデータの在り処がわかっているもしくは探しやすいのが情報システム部門のはずですし、ビジネスプロセスやデータフローを把握することは他の業務アプリケーションのシステム化企画や要件をまとめるためにも必須のはずです。
そもそも、エンドユーザーにデータ分析スキルを求めるのであれば、自らがそのロールモデルとなってスキルを伝搬していくエバンジェリスト（伝導者）になることで、縦割り組織を横断したデータアナリストグループを主導してデータドリブン経営を推進するリーダーとなれるのではないでしょうか。
BIツールとExcelとで分析対象作業が仕分けされ、そこそこのデータ分析スキルを持ったエンドユーザーが利用するようになったのに、BIツールがサクサク動いてくれなければ元も子もありません。
データの収集や蓄積はBIツールとは分離して、BIツールを分析作業に集中できる環境を作り上げ、データ活用基盤として一体運用していきましょう。
ここまでお読みいただき、ありがとうございます。
いかがでしたでしょう。
BIツール導入の失敗をリカバリーして、組織内のあちこちで賢者たちがデータ分析に取組み、ラスボス≒ビジネスゴールを次々と突破していく姿が想像できたでしょうか。
データ活用ツールの違い・比較資料がダウンロードできます。
ETL ツールと周辺ツール3種（EAI ／ BI・DWH ／ RPA ）との比較表およびツールごとの解説をまとめたホワイトペーパーをダウンロードしていただけます。
無料ダウンロード
Waha! Transformer の利用者像から見えた！データ活用・分析人材の視野と視座
Webメディアのビジネス＋IT主催「データ活用・分析 2022 冬」で講演したプレゼンテーション・スライドです。
マーケティング部門をはじめとするビジネス人材向けのカンファレンスにつき、内容についてはツールよりもデータ分析に取り組む人材や、データドリブン経営を推進するための組織・風土について、Waha! Transformer をご利用いただいているお客様から学んだことを中心に紹介しています。
この言葉を使い始めたガートナー社の定義によれば、DataOpsとは「組織内のデータ管理者とデータ利用者の間におけるコミュニケーションの向上と、データフローの統合、自動化に重点を置いた手法。共同作業によるデータ管理のプラクティス（実践）を指す」と説明されています。BI・帳票作成ツール市場調査、変わらずExcel利用も多いが……選定ポイントを解説 連載：中堅・中小企業市場の解体新書｜ビジネス+IT 2020-11-20
「どのような軸で分析すれば良いか判断できない」という課題は2018年と2019年のいずれも2割弱の高い回答割合を示している。2021年度の税制の目玉の一つ「DX投資促進税制」、メリットを得るには何をするべきか？ (1/3)：EnterpriseZine（エンタープライズジン） 2021/05/10
上田：D要件として「データ連携・共有」「クラウド技術の活用」「DX認定の取得」の3つ、X要件では「全社の意思決定に基づくものであること」「一定以上の生産性向上が見込まれること」の2つを全て満たす必要がありますから、DXに全社的に取り組んでいる企業のみが対象となる税制だと思います。4月時点では計画申請書の内容が公開されておらず、詳細が明らかになるのは5月以降ですが、過去の税制から考えると、比較的いろいろな項目を記載することになるでしょう。申請書作成にあたっての最初のハードルは、D要件の1つであるDX認定取得だと考えています。すでに取得している企業は別として、これからの企業にとってはこの認定取得が必須です。
執筆者情報：
ユニリタ Waha! Transformerチーム
株式会社ユニリタ ITイノベーション部
PM・SEに限らず多様な経験・知見を持ったメンバーが、「データ活用」という情報システム部門の一丁目一番地でお役に立つべく集められました。
社内のデータ活用でお悩みの方は
お気軽にご相談ください。
