うまく判定できなかったユーザーの発言を学習させる – DialogPlay - TIS株式会社

シナリオ/FAQ判定精度改善ログの情報を元に、シナリオ判定に失敗したユーザー発言を、既存シナリオ/FAQを選択して発言例に追加、または新規シナリオ/FAQの発言例として作成することが可能です。
また、シナリオ/FAQに反映させる必要のないユーザー発言を、除外ワードとして登録することで、判定精度改善ログへの表示を制御することも可能です。

手順（シナリオの発言例に追加）

左メニューの『アナリティクス』から『利用状況』を選択し、シナリオ/FAQ判定精度改善ログを確認したいアプリケーションの”確認画面へ移動“をクリックしてください。
『シナリオ/FAQ判定精度改善』タブをクリックしてください。
『ログ種別』リストから「シナリオ」を選択することで、シナリオの判定精度改善ログが確認できます。

ユーザー発言ごとに、関連すると思われるシナリオ候補が、スコア順に上位3位まで表示されます。

判定結果より、シナリオ判定失敗後のユーザー動作が確認できます。

判定結果	説明
候補なし	候補複数提示（[どれでもない]を選択）
候補複数提示（シナリオ＜選択したシナリオ名＞を選択）	シナリオでチャットボットが複数の候補を提示し、ユーザーが候補の中から1番目以外を選択した場合（シナリオ判定結果のスコア（確信度）が0.2以上のシナリオを候補として提示）
候補複数提示（[どれでもない]を選択）	シナリオでチャットボットが複数の候補を提示し、ユーザーが候補の中から選ばず、「どれでもない」を選択した場合（シナリオ判定結果のスコア（確信度）が0.2以上のシナリオを候補として提示）

ユーザー発言を発言例として追加したいシナリオが、シナリオ候補にある場合
1. 発言例を追加したいシナリオ行の、”＋発言例に追加“をクリックしてください。
2. 「ユーザー発言を発言例に追加しました。チャットボットに反映させるには、チャットボットの学習を行ってください。」というメッセージが表示されます。
ユーザー発言を発言例として追加したいシナリオが、シナリオ候補にない場合
1. シナリオ候補の下にあるシナリオ選択リストから、発言例を追加したいシナリオを選択し、”＋発言例に追加“をクリックしてください
2. 「ユーザー発言を発言例に追加しました。チャットボットに反映させるには、チャットボットの学習を行ってください。」というメッセージが表示されます。
ユーザー発言を発言例として利用し、新規シナリオを作成する場合
1. “＋新しいシナリオを作成“ボタンをクリックしてください。
2. 『ユーザー発言例』にユーザー発言の内容が入力された状態で、新規シナリオ作成画面が表示されます。
  シナリオを作成し、”保存“ボタンをクリックしてください。

左メニューの『チャットボット一覧』から、発言例を追加したチャットボットを選択し、”保存してチャットボットを学習“ボタンをクリックして再学習してください。
公開中のアプリケーションに反映させる場合は、再度公開を行います。
1. 左メニューの『アプリケーション』から、発言例を追加したチャットボットを公開しているアプリケーションを選択してください。
2. アプリケーション画面の”公開“ボタンをクリックしてください。

手順（FAQの質問例に追加）

左メニューの『アナリティクス』から『利用状況』を選択し、シナリオ/FAQ判定精度改善ログを確認したいアプリケーションの”確認画面へ移動“をクリックしてください。
画面上部にある『シナリオ/FAQ判定精度改善』タブをクリックしてください。
『ログ種別』リストから「FAQ」を選択し、右に表示される『FAQ』リストから既存FAQ集を選択することで、FAQ集ごとの判定精度改善ログが確認できます。

ユーザー発言ごとに、関連すると思われる質問回答候補が、スコア順に上位3位まで表示されます。

判定結果より、FAQ判定失敗後のユーザー動作が確認できます。

判定結果	説明
候補なし	FAQ判定ができなかった場合（FAQ判定結果のスコア（確信度）が全て0.2以下）
候補複数提示（シナリオ＜選択したFAQ名＞を選択）	FAQでチャットボットが複数の候補を提示し、ユーザーが候補の中から1番目以外を選択した場合（FAQ判定結果のスコア（確信度）が0.2以上のシナリオを候補として提示）
候補複数提示（[どれでもない]を選択）	FAQでチャットボットが複数の候補を提示し、ユーザーが候補の中から選ばず、「どれでもない」を選択した場合（ FAQ判定結果のスコア（確信度）が0.2以上のシナリオを候補として提示）

ユーザー発言を質問例として追加したい質問回答が、質問回答候補にある場合
1. 質問例を追加したい質問回答行の、”＋質問例に追加“をクリックしてください。
2. 「ユーザー発言を発言例に追加しました。チャットボットに反映させるには、チャットボットの学習を行ってください。」というメッセージが表示されます。
ユーザー発言を質問例として追加したい質問回答が、質問回答候補にない場合
1. 質問回答候補の下にある質問回答選択リストから、質問例を追加したい質問回答を選択し、”＋質問例に追加“をクリックしてください。
2. 「ユーザー発言を発言例に追加しました。チャットボットに反映させるには、チャットボットの学習を行ってください。」というメッセージが表示されます。
ユーザー発言を質問例として利用し、新規質問回答を作成する場合
1. “＋新しい質問回答を作成“ボタンをクリックしてください。
2. 『質問例』にユーザー発言の内容が入力された状態で、新規質問回答作成画面が表示されます。
  質問回答を作成し、”保存“ボタンをクリックしてください。

左メニューの『チャットボット一覧』から、質問例を追加したチャットボットを選択し、”保存してチャットボットを学習“ボタンをクリックして再学習してください。
公開中のアプリケーションに反映させる場合は、再度公開を行います。
1. 左メニューの『アプリケーション』から、発言例を追加したチャットボットを公開しているアプリケーションを選択してください。
2. アプリケーション画面の”公開“ボタンをクリックしてください。

手順（除外ワード登録）

除外ワードを登録したいアプリケーション利用状況確認画面を選択し、『シナリオ/FAQ判定精度改善』タブをクリックしてください。
1. 判定精度改善ログに登録されたユーザー発言を、除外ワードとして登録する場合
  1. 除外ワードとして登録したいユーザー発言が含まれた判定精度改善ログを表示してください。
  2. 除外ワードとして登録したいユーザー発言行の”－該当シナリオなし“ボタンをクリックしてください。
  3. 「ユーザー発言を除外ワードに追加しました。」というメッセージが表示されます。
  4. 除外ワードを確認する場合は、 “除外ワード“をクリックし、除外ワード画面を開きます。
  5. ユーザー発言が除外ワードとして登録されたことを確認してください。
2. 除外ワードを予め登録する場合
  1. 判定精度改善ログに反映させる必要のないキーワードを予め登録することが可能です。
    “除外ワード“をクリックしてください。
  2. “＋新規作成“ボタンをクリックしてください。
  3. 『キーワード』に除外したいキーワードを入力し、”保存“ボタンをクリックしてください。
  4. 除外ワードとして登録されたことを確認し、除外ワード画面の”×“ボタンをクリックし、画面を閉じてください。
除外ワードに登録されたキーワードを含む（部分一致）ユーザー発言は、判定精度改善ログでの非表示対象となります。
除外ワードは、シナリオ/FAQのどちらのログにも反映されます。
例：「これはチャットボットですか？」を除外ワードに登録

[除外ワード登録前]

[除外ワード登録後]

手順（除外ワード削除）

登録した除外ワードを削除したいアプリケーション利用状況確認画面を選択し、『シナリオ/FAQ判定精度改善』タブをクリックしてください。
“除外ワード“をクリックしてください。
除外対象から削除したいキーワード行の削除”×“ボタンをクリックしてください。
キーワードが削除されたことを確認し、除外ワード画面の”×“ボタンをクリックし、画面を閉じてください。
除外ワードから削除されたキーワードを含む（部分一致）ユーザー発言は、判定精度改善ログでの表示対象となります。
除外ワードは、シナリオ/FAQのどちらのログにも反映されます。
例：「これはチャットボットですか？」を除外ワードから削除

[除外ワード削除前]

[除外ワード削除後]

手順（除外ワード編集）

除外ワードを編集したいアプリケーション利用状況確認画面を選択し、『シナリオ/FAQ判定精度改善』タブをクリックしてください。
“除外ワード“をクリックしてください。
編集したい”キーワード“をクリックしてください。
『キーワード』を編集し、”保存“ボタンをクリックしてください。
編集後のキーワードが反映されたことを確認し、除外ワード画面の”×“ボタンをクリックし、画面を閉じてください。