テキストマイニングの手法

収集データの質的向上

分析対象となるデータの質については、残念ながら改善すべき点が多いのが現状である。その最大の理由は、元々分析する事を全く想定していなかったために、記述のレベルや内容がバラバラである事による。例えば、あるコールセンタでの顧客との対応履歴は以下の様に記述されていた。

これでは、どんな問合せ内容で、どう回答したのかが全く不明であり、分析の対象としては余りにも情報が不足している事は明白である。しかしながら、これを入力するオペレータ側からして見れば、これまでに記述内容についての指導は全くなかったので、「私はきちんと仕事をしています」と言う意味での記録を残すに過ぎなかったのであり、ごく当然の事態と言われればその通りなのである。
　上記のコールセンタの場合では、まず記入時のガイドラインを作成した。ガイドラインと言っても簡単なものであり、顧客の質問内容とそれに対する回答内容を５０～１００文字程度で、具体的に記述する事、及び実際の記入事例を５例作成した程度である。このガイドラインと共に、テキストマイニングによる分析の趣旨とその結果のフィードバック方法についての説明を行って、オペレータの方々の理解を得て、データ収集を再開した。その結果、２～３ヶ月で１万件程度の良好なデータを収集する事ができており、記入者側の理解と協力を得る事が、極めて重要であると再認識させられた次第である。
　特に営業日報等では、元々が上司への報告メモであった事から、その記入スタイルと内容は全くバラバラである事が多く、当然ながら、こうした散漫なデータからは散漫な結論しか得られない。しかし、一部の顧客からは、「自由に書いてもらう中から、ツールが自動的に知識を引き出す事にテキストマイニングの意味がある」（？）との無理難題を仰せつかる事があり、この疑問には前述の例を出して以下の点を説明している。

１）情報は取りにゆく必要があり、自由に記述する中に欲しい情報が存在する保証はない。
２）記入者側に対し､分析側が欲しい情報の概略を伝えなければ、何を書くべきかが判らない。

要するに、「魔法のツールではない」事を十分理解頂くと同時に、質の高いデータ（即ち、欲しいデータ）を得るには「テーマを明確にする」必要がある事をアドバイスしている。また、データの質を維持向上するためにも、記入者へのフィードバックは不可欠である。情報提供者が意欲を失えば、情報のフローが枯渇し、このシステムは立ちいかなくなってしまう。このためにも、記入者側にもメリットを感じさせる様に、分析結果のフィードバックを行うと同時に、それを活用した成功事例の紹介等のコミュニケーション活動が重要であり、こうした活動がシステムを運営する上での潤滑油となってゆく。
　以上をまとめると、データの質を向上するポイントは次の４点となる。

①記入内容のガイドラインを作成し、記入者の理解と協力を得る。
②テーマを明確にする。（必要に応じて項目別の記述を依頼する）
　・自社製品情報　　・競合情報　　・顧客の動向　　等
③属性情報の付与（出来るだけ、詳細な属性情報を記入する様に指導する）
④分析結果を記入者にフィードバックし、お互いにメリットがある事を実感してもらう。

<<　テキストマイニングコラム　目次へ戻る

（2019.05.08 公開）