iot-etl
※本トピックは、withコロナの2020年10月に公開しました。
恒例の質問からで恐れ入ります。
皆さんのご家庭・プライベートシーンでは、IoT：Internet of Things（モノのインターネット）デバイスをいくつぐらいお持ちでしょうか？
「機能はあるらしいが使っていない」モノも含めると、すでに両手の指の数を優に超える数のデバイスがネットワークにつながっている、もしくはつなげてくれる日を待っているのではないでしょうか？
パソコン、スマートフォン、タブレット、スマートウォッチ、ホームスピーカーを筆頭にゲーム機やテレビなどいわゆる黒物家電系はすぐ思い当たりますが、それ以外にも冷蔵庫、電子レンジ、炊飯器、湯沸かしポット、洗濯機、エアコンといった白物家電、照明やトイレ便座・体重計、ドアの鍵やインターホンにペットの首輪、さらに住宅そのもの：スマートハウスであったり戸外にある自動車や電気・水道・ガスなどもネットワークにつながる時代になりました。
これらIoTデバイスは、私たちの生活をこれでもかと便利にしてくれるモノであり、例えば湯沸かしポットなどは遠く離れた高齢者のハートビートをリアルタイムで家族に伝えてくれるなど、高齢化社会における問題解決の一助となるサービスとして広まっています。
一方、そこでやり取りされる情報≒コトはデバイスの動作・故障履歴にはじまって各種センサーを通して得られる膨大なデータとして、デバイスメーカーやサービス提供者のもとに日々刻々と集積されていきます。
本トピックでは、個々のデバイスメーカーやサービス提供者側の立場で、この膨大なデータをどのように活用していけばよいのか、素人ながらできるだけ統計的な観点で考察してみます。
一点、プライバシー保護やセキュリティに関するところはこの前段の議論としてスコープ外としている点はご了承ください。
データ活用ツールの違い・比較資料がダウンロードできます。
ETL ツールと周辺ツール3種（EAI ／ BI・DWH ／ RPA ）との比較表およびツールごとの解説をまとめたホワイトペーパーをダウンロードしていただけます。
2000年代のIT・ネットバブルの後に、日本のビジネス現場で密かに流行ったバズワードの一つに“見える化”・“可視化”があります。
それ以前には部署で1台のオフコンやダム端を共有していた時代があり、ITバブルを経てオフィスに一人1台のPCが行き渡った結果、データの入力・更新頻度が飛躍的に高まりました。そうなると、せっかくリアルタイムに近い頻度で更新されたデータがあるのだから活用しないともったいないという風潮が広がると共に、PCの次の需要を喚起したいIT業界のオジサンたちが中心になって「まずは“見える化・可視化”しましょう！」とポジショントークを展開したわけですね。
その結果、何が起きたか？
驚くことなかれ、何も起きなかったのです！
見える化, リストラ, コンプライアンス - 調べる - Google トレンド
実際に起きた現象を思い起こせば、バブル崩壊で疲弊しきったところから立ち上がろうとする日本経済に、さらなる打撃を与えてしまったというべきでしょうか。
恐ろしいことに、2000年代にささやかれたリストラ不況やコンプライアンス不況の元になるデータが、よりによって見える化・可視化されてしまったのです。
例えば、コピー機のカウンターがネットワーク上で見える化された結果、「部門別コピー用紙の消費量」といったランキングが社内掲示板で晒し物にされたり、ビジネスアワーの息抜きにSNSや通販サイトが社内から閲覧されていることが可視化されたことでフィルタリングツールが導入されたり、事業成長やイノベーションには直接貢献しないところばかりにフォーカスがあたってしまいました。
withコロナの今であれば、「テレワーク中のPC利用状況を見える化しましょう！」というアレですね。
このような管理・監視偏重の風土、すなわち心のハンドルのアソビを失った組織が起点となって、メンタルヘルスや産業医制度、ハラスメント110番、不正に関する内部通報制度なるものが副次的に一般化していきました。
なぜ、そんなことが起きてしまうのでしょうか？
ご興味をお持ちいただいた方はぜひ、以前のトピック『BI：データ分析ツールの導入失敗をリカバリーするために必要な3つのポイント』をご参考ください。
さすがにそれでは申し訳ないので、私の主観的観測をお伝えしておきますと、
「頼んでもいないデータを見せられても、意思決定者はどう反応してよいかわからない。」
裏を返せば当時の見える化・可視化とは、一部のITベンダーが発信地となって、隣人に嫌がらせで大量の出前を注文してしまう威力業務妨害のような状態に陥ってしまったのではないでしょうか。
事業成長やイノベーションのように、
といったビジネス要件が定まってから、データと向き合えばよかったのではないでしょうか。
IoTデバイスを頒布しはじめた組織で少なからず生じるのが、膨大なデータが蓄積され続けるクラウドストレージの課金コストに対する右往左往状態ではないでしょうか。
以前、2015年頃にデータ分析を生業とする組織に所属していた頃の話しです。
その当時流行っていた人流データを取得するためのセンサーを、商業施設などに設置・導入しているベンダーから持ち掛けられた共同研究企画がありました。
こちらはクライアントから提供されたデータをアドホックに分析して、クライアントの持つ仮説に対する問題発見と解決の方向性までレポートするサービスを提供していましたので、事例づくりの一環でコストも利益も2社で折半という条件で取組むことになりました。ちょうど同じタイミングでご相談をいただいていたとある商業施設に対して、「成果報酬型で人流データを計測してみましょう」と提案し、実行することとなりました。※ちなみに成果報酬は分析結果の〇×判定に対する工数ベースの実費精算です。
具体的には、商業施設の公式スマホアプリが使う Bluetooth の信号をセンサーがキャッチして、施設内で来場者がどのような動線をたどっているのか、ブース配置の最適化に向けた示唆が得られるかどうか、という実証実験に取り組んだのです。
いざ実行の段階になると、スマホアプリを介したデータ取得に関して利用範囲が拡大することになるからオプトイン：ユーザーの承諾を得ることは困難との判断が下されたことで、ハードウェアから得られる信号だけに限るという制限が加わってしまったのです。
結論は予想通り大変残念なもので、そもそも Bluetooth をオンにしてくれているデバイスが限られていることがまず問題化しました。
さらに、あえて名前を出しませんが、とあるデバイス特有のノイズが1デバイスあたり3～10件程度カウントされてしまうことにより、実際の来場者数より多いデバイス数によってデータが大きく乱れてしまったのです。
本来はアプリによってユニーク化されるべきデバイスが単なるノイズの集団になってしまい、入場の際に捕捉されたデバイスが回遊の途中で突然消滅し、入場していない新たなデバイスが突然現れるという現象が同時多発的に発生しますので、人流データとしてはまったく使えないデータが、クラウド上にどんどん蓄積される結果となってしまいました。
もちろん、そのように乱れを補正できないようなデータから人流に関する示唆など得られるはずもなく、うっすらと見え隠れした動きも一般論の理解を超えるものにはなりませんでした。
～施設利用者は来場の目的通りに行動する～
といった、「言われてみれば当たり前のこと」が見える化されたに留まり、〇×判定はもちろん×となってしまうのです。
クライアントは、スマホアプリによる Bluetooth通信の注意点という知見を得られた一方で、提供元の2社にはクラウドストレージの課金（数百万円！）だけが重くのしかかってしまったわけですが、両社の経営者ともそのコストの負担ですったもんだした挙句にパートナーシップ解消という悲しい結果となってしまいました。
私たちにとっての教訓は、以下の通りです。
5年前に比べればクラウドへのデータ蓄積コストは選択肢も増えて相当お安くなっていますが、IoTデータで自家利用される場合は特に、想定されるデータ量の増減に応じた課金コストのシミュレーション（場合によっては為替変動リスク）を、念入りに行って予算化しておかれることを強く強くお勧めしたいところです。
IoTと聞いてまず思い出すのが「建設機械の障害検知」です。（古いでしょうか）
世界中の建設現場や掘削現場で稼動する重機に取り付けられたセンサーから得られたデータを収集し、故障など保守・メンテナンス作業の予兆を検知しようとするものです。
作業の中断は工期の遅延：多くのケースで経済的な損失に直結することから、故障修理や部品交換のタイミングを事前に検知して、中断期間をゼロもしくは最小化した成功事例としてビジネス紙誌でも広く紹介されました。
そのログには、電源のオン・オフから各種部品の動作状況、燃料補給やオイル交換のタイミングまで含まれていたそうです。
故障を予知・検知するロジックは、それまで蓄積されてきた保守データベースを徹底的に構造化し、故障の原因と現象の因果関係をパターン化することで導き出されるわけですが、単なるテキストの集積場所に過ぎなかった保守データベースが、宝の山として見直された事例として、IT業界におけるCRMデータベースの活用シーンとしても、引用されることがよくありました。
故障が起きてからアクションしていた、言うなれば受け身のコストセンターだった保守・メンテナンス作業が、障害の予知・検知によって能動的なアクションに変わったことで、製品・サービスが一体となって商品＝プロダクトのブランド価値を高めていったわけですね。
データが集められるとなった途端、まずは何でもいいから集めておいて、宝なのかゴミなのかわからない山の中を右往左往しながら疲弊していく組織に出会うシーンは一向に減る傾向が見られません。
経営レベルで”選択と集中”が定義されたのであれば、まずは集中すべき領域の勘所を見定めて、スモールスタートからはじめてみるとよいのではないでしょうか？
“データ民主化”の即効策、Waha! Transformer「Query オプション」とは
必要な人が・必要な時に・必要なデータを簡単にダウンロードできる、とっても手軽なBIツールです。
IoTデバイスから集められるデータは、基本的にはテキスト形式のログファイルであり、デバイスごとのP/N：型番とS/N：シリアルナンバー、MACアドレスなどを使って個体識別：ユニーク化されているのみ、GPS等による位置情報が含まれるケースはあるかもしれませんが、利用者の個人情報は保持していないはずです。
このログファイルに記述されたS/NやMACアドレスが、CRMなどの保守データベースに登録され、当該デバイスを利用する顧客情報と紐づけられることが最初の一歩になるはずですが、まずここでデータ連携の問題が生じます。
せっかく故障やその予兆を検知できたとしても、どこの誰が使っているものかわからなければ、メンテナンスに関する連絡の取りようがありません。例えデバイス側にモニター画面があってアラート表示できたとしても、予防保守に関するメッセージを顧客が理解してアクションしてくれることを期待するのは限界があるでしょう。
また、集められたログは保守・メンテナンス用に振り分けられるだけでなく、統計的に解析され、不具合の改修だったり顧客行動の理解だったり、商品企画を含めたマーケティングデータとして活かされてこそ、"Data is the New Oil"（データは新しい石油）としての価値が生まれてきます。
こちらのイメージ画像は、1991年のイラク戦争の終盤、クウェートから撤退するイラク軍が油田に火を放った時の報道写真だそうです。
せっかくの油田が単なる二酸化炭素排出装置になってしまうのは何とも MOTTAINAI 限りです。
"Data is the New Oil"の観点でこの油田を御社のIoTデバイスと位置付けてみると、その先にある石油精製プロセスと同様のデータ戦略が必要になることがお分かりいただけるでしょう。
原油の採掘からはじまって最終的な石油製品に至るプロセスにならってみると、IoTデバイスによるデータの収集と蓄積、その後の変換・加工：データ処理を経てようやくデータ活用できるはず。
まず何よりも先に、データ活用の用途を定める。
活用のためには、精製≒データの前処理と呼ばれるデータクリーニングやクレンジングといった変換・加工工程が必要になってくるでしょうから、組織内で汎用的に使えるデータ連携基盤を忘れずに整備しておきましょう。
当サイトではおなじみのシステム構成図withデータ連携基盤に、IoTデータを加えてみました。
現在のシステム構成にETL：データ連携ツールの「Waha! Transformer」を導入していただければ、IoTデータのクレンジングといったデータ精製処理がなされたCSVファイルをCRMやBIツールに送出する一連の処理が機械化・自動化できてしまいます。
最後に、このような機器・ハードウェアから吐き出される大量データの変換・加工処理に「Waha! Transformer」をご活用いただいている事例が公開されていますので、ぜひご参考としてください。
データ活用ツールの違い・比較資料がダウンロードできます。
ETL ツールと周辺ツール3種（EAI ／ BI・DWH ／ RPA ）との比較表およびツールごとの解説をまとめたホワイトペーパーをダウンロードしていただけます。
今、多くの企業が『ＩｏＴとデータ収集』の重要性について唱えていますが、コマツはＩｏＴなんていう言葉が世の中に出てくるずっと前からデータ収集を続け、それをビジネスに生かしてきたのです
ウチもIoTをやろう！ このように、上司から言われたことはありませんか。調べてみると「IoT導入」を支援してくれるサービスはたくさんあります。「IoT ～ ソリューション」「IoT ～ センター」「IoT ～プラットフォーム」などがあります。 肝心のIoTを何に使うのかという問いに対しては、「センサーを使って今まで取れなかったデータを可視化する、これに皆さんがお持ちの業務ノウハウを当てはめれば、イノベーションを起こせます」という曖昧かつ身勝手な回答が返ってきます。
新型コロナウイルスの感染拡大を受けてDXの重要性が増していることを背景に、物流や製造業でもAI(人工知能)やIoTの活用が加速している。産業分野に特化したIoTはとくに「インダストリアルIoT(IIoT)」と呼ばれており、一般的なIoTと同様、機器や生産設備などがインターネットを介して繋がることで情報を収集して蓄積したり、それを分析して作業の効率化やスマート化を図るものだ。
上田：D要件として「データ連携・共有」「クラウド技術の活用」「DX認定の取得」の3つ、X要件では「全社の意思決定に基づくものであること」「一定以上の生産性向上が見込まれること」の2つを全て満たす必要がありますから、DXに全社的に取り組んでいる企業のみが対象となる税制だと思います。4月時点では計画申請書の内容が公開されておらず、詳細が明らかになるのは5月以降ですが、過去の税制から考えると、比較的いろいろな項目を記載することになるでしょう。申請書作成にあたっての最初のハードルは、D要件の1つであるDX認定取得だと考えています。すでに取得している企業は別として、これからの企業にとってはこの認定取得が必須です。
執筆者情報：
ユニリタ Waha! Transformerチーム
株式会社ユニリタ ITイノベーション部
PM・SEに限らず多様な経験・知見を持ったメンバーが、「データ活用」という情報システム部門の一丁目一番地でお役に立つべく集められました。
社内のデータ活用でお悩みの方は
お気軽にご相談ください。
