チャットボットの課題を見つけて改善しよう！チャットボットログの分析事例
マルチチャネル対応が進み、導入件数がここ10年ほどで激増したチャットボット。ChatGPTやWindows Copilotによって身近な存在になり、ボットとの自由な会話を楽しむ機会が増えた方もいるのではないでしょうか。
企業が提供するチャットボットの理想は、①質問をきちんと理解すること、②適切な回答を提示すること、③回答できない場合の対策を取ること（オペレーター対応への切替、窓口案内、店舗紹介など）と整理できます。
本稿では、実際の事例に基づいて、チャットボットログの分析によって上に挙げたような理想のチャットボットにするためのコツをご紹介します。
今回はチャットボットのログ分析について、実際の事例から得たコツをご紹介します。
１．多様な問い合わせ表現を網羅的に把握する
LLM（大規模言語モデル）を使用したチャットボットでは、特定領域に特化せず、汎用的な言語理解が可能です。しかし、特にBtoCでのチャットボットの場合、お客様のリテラシー、現在の状況、使用歴などに応じて問合せ表現は多種多様になります。
例えば、「ログインができない」という事象に対しても、お客様は以下のようにさまざまな表現で質問してきます。
「システムが動かない」
「突然入れなくなった」
「ログインボタンをクリックした後、エラーメッセージが出て先に進めない」
「ログインしようとしたら証明書の更新エラーが出たんだけど、更新方法がわからないので教えてほしい」
ベテランオペレーターはこれらの問い合わせ表現から必要に応じて2～3の状況確認をすることで、同一問合せであり、回答内容を頭のなかで組み立てていくことができます。
しかし、チャットボットはあくまでテキスト情報を分析するので、これらの多様な表現を同一視するためにひと手間が必要になります。過去のチャットログからお客様の問い合わせ表現のバリエーションを抽出し、これらをすべて同じ質問だと判断できるように登録してあげなければなりません。
お客様表現の抽出方法として、以下のような分析フローがお勧めです。
■分析フロー
- 通常のチャットログ分析を進める（話題単位で内容を分割、話題の条件設定など※）
- 文脈抽出で各チャットログにおける話題の遷移パターンを分析する
- ２から、通話後半で同じような話題の遷移パターンを持つチャットログを絞り込む
- ３絞り込んだ各チャットログの前半にある問い合わせ表現部分を抽出し、全件マッチングによって表現ごとに分ける
- ４の各話題グループから問い合わせ表現のバリエーションをピックアップし、チャットボットシステムに反映させる
〇使用機能：VextMiner チャット分析オプションの文脈分析、Vext知識＋ シナリオルール作成
※関連記事：チャットログの分析事例、チャット・チャットボットログ分析のコツ
２．属性情報の活用
チャットボットの改善のために、テキストデータ以外の情報もうまく活用しましょう。満足度調査結果などは明確に課題箇所が判断できるわかりやすい例ですが、発話タイミングの情報を利用できる場合、選択肢の精査のために有効な分析ができる可能性があります。
チャットボットではユーザーに現在の状況や何に関する問い合わせなのかを選択肢から選んでもらう、あるいは状況確認のための確認依頼を行うシーンが多くあります。選択肢の表示から選択肢を選ぶまでのタイミング、確認依頼の発話を出してから該当情報を確認して入力し終わったタイミングが長いということは、選択肢が選びにくい／適切そうな選択肢がない／説明文が長い・詳細すぎる／確認事項が多い・わかりづらいなどの課題がある可能性があります。
こういった内容を把握するためには以下のような分析がおすすめです。
■分析フロー
- 通常のチャットログ分析を進める（※不要テキストとして選択肢のような定型表現を削除しないように注意）
- カテゴリグラフでクロス分析し、話題ごとに発話時間の平均（や分布）をチェック
- 発話時間が長い話題となった選択肢を表示する画面での課題を調査する
同じように問題のある箇所を調べるのに、チャットボットでの案内途中で離脱したポイントに注目する方法があります。離脱されやすいポイントを確認し、該当箇所での対応内容と、もともとの問い合わせ表現を照会するなどの方法で要因が判断できます。
〇使用機能：VextMiner クロス分析、Vext知識＋ シナリオルール作成
まとめ
今回は、実際の導入事例に基づき、チャットボットログ分析のコツをご紹介しました。VextMinerチャット分析オプションには、目的に合わせてご活用いただける機能が多数搭載されています。自社データで分析してみたい、希望の分析ができるか確認したいといったご相談がありましたら、是非お気軽にお問い合わせ下さい。
有人対応チャットログ分析についてはこちらをご覧ください。
より詳細な情報や事例について知りたい方は、お問合せフォームよりぜひお気軽にお問合せください。
VOCダッシュボードや分析ツールは下記の関連製品のページを参照ください。「お役立ち資料」のページからも関連製品の情報をダウンロードいただけます。
テキストマイニングに興味をお持ちの方は、無料のセミナーもございます。
関連製品：VextMiner、Vext知識＋
関連ワード：自然言語処理、会話分析、ChatBot、BOT
