テキストマイニングツール導入の前に「POC（Proof of Concept）を実施する」場合、目的設定や進め方が非常に重要になります。
POCをやってみたものの、うまく評価ができなかった、なぜPOCをしたのか目的が曖昧になってしまった…という事態になれば、費用と時間を掛けたのにまた検討がふりだしに戻ってしまう可能性すらあります。
今回はテキストマイニングツール導入検討時のPOCにおける成功・失敗の事例を元に、POCの進め方を解説します。
そもそもPOCとは何か？
POC（Proof of Concept）は日本語で「概念実証」と訳されますが、ツール導入の検討フェーズにおけるPOCとは大まかに「サービスや製品を試験的に導入することで目的の達成ができるかを検証する」ことを指します。
テキストマイニングツール導入前のPOCでは、自社での短期間の試使用や、自社の業務要件に合わせた分析設計をベンダー等に外部委託して有償分析を行うこともあります。
POCの実施は必須ではありませんが、例えば良さそうな製品を探し出し、何ができるのかをある程度把握したとしても、「自社で使いこなせるか？実際の業務にマッチするのか？の判断材料が足りない…」と感じる場合は特に、POCがとても重要となります。
POCを開始する前にそもそもどのように導入検討を進めるべきかについては、関連記事「今から始める「テキストマイニングツール導入」ステップ」をご参照ください。
POCの失敗事例
POCを失敗に終わらせないためには、目的とゴールを明らかにする必要があります。
冒頭でも触れた通りこれらが曖昧だと評価も曖昧になり、いざ導入に向けて上申となった際に「それで、このツールの費用対効果は？」と訊かれて返答に詰まってしまった…という事態を招きかねません。
ここで、とある企業の失敗例をご紹介します。
Ａ社ではテキストマイニングツール導入にあたり、いくつかの課題がありました。
■課題
・分析業務に10人体制で取り組んでいるが、Excelで集計しており多大な工数が掛かっている
・未分類話題である「その他」は許容されず、かならず何らかしらのカテゴリに入れる必要がある
これらの課題を解決できるツールを探していたA社は、事前に試験分析などは行わず、まずは自社で使ってみたいと考えました。
Ａ社がPOC実施前に設定した目的とゴール
■検証目的
・現在行っている分析業務をツールで代替できるか
■検証手段
・手作業で行っている分類をツールに置き換える（分類ルール設定）
・ツール分類結果をCSVで出力して目検で正誤判定を行う
■ゴール設定
・ツール分類結果が目検判定と同じ精度となる
・未分類「その他」を0件にする
A社のPOC実施結果
A社でPOCを実施した結果、目検判定結果と完全一致はできず、新規話題に対しても常に未分類を許容できないため、「結局目検で時間をかけないと今まで通りの結果は出ない」という結論になりツールの導入自体を断念する結果となりました。
POCが失敗に至ってしまった理由として以下のようなことが考えられます。
・ツールと手作業それぞれに対し、できること／できないことを洗い出す必要があった
・検証手段が具体化されておらず、評価が曖昧になってしまった
・ゴール設定がざっくりとしており、具体的な運用イメージに結びつかなかった
POCの成功事例
次に、別の企業の成功例をご紹介します。
B社には、前述のA社と同じように分析作業工数を中心とした課題がありました。
■課題
・分析業務に5人体制で取り組んでいるが、Excelで集計しており多大な工数が掛かっている
・分類定義のマニュアルはあるが、担当者により判断がぶれることがある
・話題を分類して増減傾向を見るだけで精いっぱいで、背景や課題点の掘り下げができていない
これらの課題に対し、導入を検討しているツールで試験分析を行った結果、手作業からツールに置き換えが出来そうなこと、逆にいくらか人間が介在する余地を残した方が良さそうなことの仮説が立てられたため、次のような目的とゴール設定を行いました。
Ｂ社がPOC実施前に設定した目的とゴール
■検証目的
①現在行っている分析業務の効率化ができるか
②現在行っている分析業務の高度化ができるか
■検証手段
①現在行っている分析業務の効率化ができるか
（1）手作業で行っている分類をツールに置き換える（分類ルール設定）
（2）データに目検判定フラグを付け、ツール分類結果との一致率を確認する（クロス分析）
（3）従来の作業時間とツール利用時の作業時間を比較して、どの程度効率化できたかを算出する
②現在行っている分析業務の高度化ができるか
（1）分類された結果から、特徴を示した話題のドリルダウンを行う（深掘り分析）
（2）分類された結果の「その他（未分類・新規話題）」から、新たなニーズを抽出する（予兆分析）
■ゴール設定
①現在行っている分析業務の効率化ができるか
（1）自社の分類定義をルールとして定義できること
（2）ツールの分類結果が目検の判定結果に対して80%以上一致すること
（3）従来の作業時間を20%以上（担当者1名分）削減できること
②現在行っている分析業務の高度化ができるか
（1）深掘り分析で、特徴話題に含まれる理由背景、課題点が可視化できること
（2）少数のニーズを発見する機能を有していること
B社のPOC実施結果
B社でPOCを実施した結果、ゴール設定に対して明確な結論を導き出すことができました。
その中で、従来の分類を完全にルールとして置き換えが出来ないことが判明しましたが、ツールでデータ全体を俯瞰したことにより、却って従来の分類方針を一部見直した方が良さそうだという気付きに繋がりました。
また、元のデータに目検判定フラグを付けていたため、ツール分類結果をグラフ化した際に、どの話題は一致率が高く、どの話題で異なる判定となりがちかの傾向を発見でき、目検とツールで差が生じやすい話題は実は担当者間でも判断に迷いやすい内容である、という事が分かりました。
B社は目的に対して検証手順やゴール設定を具体化したことで、数か月間のPOC実施期間中も方針がぶれる事はなく、実際の業務に組み込んだ際にどの部分で効率化、高度化ができそうかのイメージを掴むことができたため、本導入となった際にもスムーズに運用を開始することができました。
POCを実施する際は、導入の判断材料となる具体的な目的・ゴール設定が肝要です。
より詳細な情報や事例について知りたい方は、お問合せフォームよりぜひお気軽にお問合せください。
VOCダッシュボードや分析ツールは下記の関連製品のページを参照ください。「お役立ち資料」のページからも関連製品の情報をダウンロードいただけます。
テキストマイニングに興味をお持ちの方は、無料のセミナーもございます。
関連製品：VextMiner
関連ワード：自然言語処理、導入検討、POC、トライアル、試験導入、お試し
