トライアル登録 ログイン

うまく判定できなかったユーザーの発言を学習させる

シナリオ/FAQ判定精度改善ログの情報を元に、シナリオ判定に失敗したユーザー発言を、既存シナリオ/FAQを選択して発言例に追加、または新規シナリオ/FAQの発言例として作成することが可能です。
また、シナリオ/FAQに反映させる必要のないユーザー発言を、除外ワードとして登録することで、判定精度改善ログへの表示を制御することも可能です。

目次

機能概要

improve-1-1.png

ログ種別

判定に失敗したユーザー発言を「シナリオ」または「FAQ」から選択することができます。

シナリオ/FAQ判定精度改善

  • ユーザー発言
    判定に失敗したユーザー発言が表示されます。
  • 判定結果
    判定失敗後のユーザー動作が確認できます。

    [ログ種別：シナリオ]
    判定結果 説明
    候補なし 候補複数提示（[どれでもない]を選択）
    候補複数提示（シナリオ＜選択したシナリオ名＞を選択） シナリオでチャットボットが複数の候補を提示し、ユーザーが候補の中から1番目以外を選択した場合
    （シナリオ判定結果のスコア（確信度）が0.2以上のシナリオを候補として提示）
    候補複数提示（[どれでもない]を選択） シナリオでチャットボットが複数の候補を提示し、ユーザーが候補の中から選ばず、「どれでもない」を選択した場合
    （ シナリオ判定結果のスコア（確信度）が0.2以上のシナリオを候補として提示）

    [ログ種別：FAQ]
    判定結果 説明
    候補なし FAQ判定ができなかった場合
    （FAQ判定結果のスコア（確信度）が全て0.2以下）
    候補複数提示（シナリオ＜選択したFAQ名＞を選択） FAQでチャットボットが複数の候補を提示し、ユーザーが候補の中から1番目以外を選択した場合
    （FAQ判定結果のスコア（確信度）が0.2以上のシナリオを候補として提示）
    候補複数提示（[どれでもない]を選択） FAQでチャットボットが複数の候補を提示し、ユーザーが候補の中から選ばず、「どれでもない」を選択した場合
    （ FAQ判定結果のスコア（確信度）が0.2以上のシナリオを候補として提示）
  • シナリオ候補
    ユーザー発言に対する判定結果を上位3件まで表示します。また、上位3件に含まれていない場合はセレクトボックスから選択することも可能です。
    項目 詳細
    シナリオ名 シナリオ/FAQ候補
    スコア 判定確信度
    アクション ユーザー発言を指定したシナリオ/FAQの発言例に追加
    + 新しいシナリオを作成 ユーザー発言を元に新しいシナリオ/FAQを作成
    － 該当シナリオなし ユーザー発言を除外ワードに登録

除外ワード

accurate-1-2.png

シナリオ/FAQ判定精度改善に反映させる必要のないユーザー発言を除外ワードとして登録、削除することができます。除外ワードは部分一致で登録されます。

シナリオ/FAQ判定精度改善ログに反映されるタイミングについて

反映条件 ユーザー発言時にボットからシナリオ判定失敗メッセージ(「申し訳ありません。適切な答えを見つける事が出来ませんでしたので別の表現でお問合せください。」)が返ってきたタイミングで、その時のユーザー発言が判定精度改善ログにシナリオ/FAQ別に反映されます。
反映タイミング 公開済アプリケーションで、上記の条件に該当する対話があった場合、即時反映されます。ただし、シミュレーター画面での対話は、反映されません。

手順（シナリオの発言例に追加）

  1. 左メニューの『利用状況確認』から『ログ/統計情報』をクリックし、シナリオ/FAQ判定精度改善ログを確認したいアプリケーションの”確認画面へ移動“をクリックしてください。
    improve-2-1.png
  2. 『シナリオ/FAQ判定精度改善』タブをクリックしてください。
    improve-2-2.png
  3. 『ログ種別』から表示したいログを選択してください。
    improve-2-3.png
  4. ユーザー発言ごとに、関連すると思われるシナリオ候補が、スコア順に上位3位まで表示されます。
    improve-2-4.png

    1. ユーザー発言を発言例として追加したいシナリオが、シナリオ候補にある場合
      1. 発言例を追加したいシナリオ行の、”＋発言例に追加“をクリックしてください。
        improve-2-4-1-1.png
      2. 「ユーザー発言を発言例に追加しました。チャットボットに反映させるには、チャットボットの学習を行ってください。」というメッセージが表示されます。
        improve-2-4-1-2.png
    2. ユーザー発言を発言例として追加したいシナリオが、シナリオ候補にない場合
      1. シナリオ候補の下にあるシナリオ選択リストから、発言例を追加したいシナリオを選択し、”＋発言例に追加“をクリックしてください
        improve-2-4-2-1.png
      2. 「ユーザー発言を発言例に追加しました。チャットボットに反映させるには、チャットボットの学習を行ってください。」というメッセージが表示されます。

        improve-2-4-2-2.png
    3. ユーザー発言を発言例として利用し、新規シナリオを作成する場合
      1. “＋新しいシナリオを作成“ボタンをクリックしてください。
        improve-2-4-3-1.png
      2. 『ユーザー発言例』にユーザー発言の内容が入力された状態で、新規シナリオ作成画面が表示されます。
        シナリオを作成し、”保存ボタンをクリックしてください。
        improve-2-4-3-2.png
  5. 左メニューの『チャットボット一覧』から、発言例を追加したチャットボットを選択し、”保存してチャットボットを学習“ボタンをクリックして再学習してください。
    improve-2-5.png
  6. 公開中のアプリケーションに反映させる場合は、再度公開を行います。
    詳細につきましては、【チャットボットへの変更を公開中のチャットボットに反映する】をご覧ください。

手順（FAQの質問例に追加）

  1. 左メニューの『利用状況確認』から『ログ/統計情報』をクリックし、シナリオ/FAQ判定精度改善ログを確認したいアプリケーションの”確認画面へ移動“をクリックしてください。
    improve-3-1.png
  2. 画面上部にある『シナリオ/FAQ判定精度改善』タブをクリックしてください。
    improve-3-2.png
  3. 『ログ種別』リストから「FAQ」を選択し、右に表示される『FAQ』リストから既存FAQ集を選択することで、FAQ集ごとの判定精度改善ログが確認できます。
    improve-3-3.png
  4. ユーザー発言ごとに、関連すると思われる質問回答候補が、スコア順に上位3位まで表示されます。
    improve-3-4.png

    1. ユーザー発言を質問例として追加したい質問回答が、質問回答候補にある場合
      1. 質問例を追加したい質問回答行の、”＋質問例に追加“をクリックしてください。
        improve-3-4-1-1.png
      2. 「ユーザー発言を発言例に追加しました。チャットボットに反映させるには、チャットボットの学習を行ってください。」というメッセージが表示されます。
        improve-3-4-1-2.png
    2. ユーザー発言を質問例として追加したい質問回答が、質問回答候補にない場合
      1. 質問回答候補の下にある質問回答選択リストから、質問例を追加したい質問回答を選択し、”＋質問例に追加“をクリックしてください。
        improve-3-4-2-1.png
      2. 「ユーザー発言を発言例に追加しました。チャットボットに反映させるには、チャットボットの学習を行ってください。」というメッセージが表示されます。
        improve-3-4-2-2.png
    3. ユーザー発言を質問例として利用し、新規質問回答を作成する場合
      1. “＋新しい質問回答を作成“ボタンをクリックしてください。
        improve-3-4-3-1.png
      2. 『質問例』にユーザー発言の内容が入力された状態で、新規質問回答作成画面が表示されます。
        質問回答を作成し、”保存“ボタンをクリックしてください。
        improve-3-4-3-2.png
  5. 左メニューの『チャットボット一覧』から、質問例を追加したチャットボットを選択し、”保存してチャットボットを学習“ボタンをクリックして再学習してください。
    improve-3-5.png
  6. 公開中のアプリケーションに反映させる場合は、再度公開を行います。
    詳細につきましては、【チャットボットへの変更を公開中のチャットボットに反映する】をご覧ください。

手順（除外ワード登録）

  1. 除外ワードを登録したいアプリケーション利用状況確認画面を選択し、『シナリオ/FAQ判定精度改善』タブをクリックしてください。
    improve-4-1.png
    1. 判定精度改善ログに登録されたユーザー発言を、除外ワードとして登録する場合
      1. 除外ワードとして登録したいユーザー発言が含まれた判定精度改善ログを表示してください。
      2. 除外ワードとして登録したいユーザー発言行の”－該当シナリオなし“ボタンをクリックしてください。
        improve-4-1-1-2.png
      3. 「ユーザー発言を除外ワードに追加しました。」というメッセージが表示されます。
        improve-4-1-1-3.png
      4. 除外ワードを確認する場合は、 “除外ワード“をクリックし、除外ワード画面を開きます。
        improve-4-1-1-4.png
      5. ユーザー発言が除外ワードとして登録されたことを確認してください。
        improve-4-1-1-5.png
    2. 除外ワードを予め登録する場合
      1. 判定精度改善ログに反映させる必要のないキーワードを予め登録することが可能です。
        “除外ワード“をクリックしてください。
        improve-4-1-2-1.png
      2. “＋新規作成“ボタンをクリックしてください。
        improve-4-1-2-2.png
      3. 『キーワード』に除外したいキーワードを入力し、”保存“ボタンをクリックしてください。
        improve-4-1-2-3.png
      4. 除外ワードとして登録されたことを確認し、除外ワード画面の”דボタンをクリックし、画面を閉じてください。
        improve-4-1-2-4.png
  2. 除外ワードに登録されたキーワードを含む（部分一致）ユーザー発言は、判定精度改善ログでの非表示対象となります。
    除外ワードは、シナリオ/FAQのどちらのログにも反映されます。
    例：「これはチャットボットですか？」を除外ワードに登録

    [除外ワード登録前]
    improve-4-2-1.png

    [除外ワード登録後]
    improve-4-2-2.png

手順（除外ワード削除）

  1. 登録した除外ワードを削除したいアプリケーション利用状況確認画面を選択し、『シナリオ/FAQ判定精度改善』タブをクリックしてください。
    improve-5-1.png
  2. “除外ワード“をクリックしてください。
    improve-5-2.png
  3. 除外対象から削除したいキーワード行の削除”דボタンをクリックしてください。
    improve-5-3.png
  4. キーワードが削除されたことを確認し、除外ワード画面の”דボタンをクリックし、画面を閉じてください。
    improve-5-4.png
  5. 除外ワードから削除されたキーワードを含む（部分一致）ユーザー発言は、判定精度改善ログでの表示対象となります。
    除外ワードは、シナリオ/FAQのどちらのログにも反映されます。
    例：「これはチャットボットですか？」を除外ワードから削除

    [除外ワード削除前]
    improve-5-5-1.png

    [除外ワード削除後]
    improve-5-5-2.png

手順（除外ワード編集）

  1. 除外ワードを編集したいアプリケーション利用状況確認画面を選択し、『シナリオ/FAQ判定精度改善』タブをクリックしてください。
    improve-6-1.png
  2. “除外ワード“をクリックしてください。
    improve-6-2.png
  3. 編集したい”キーワード“をクリックしてください。
    improve-6-3.png
  4. 『キーワード』を編集し、”保存“ボタンをクリックしてください。
    improve-6-4.png
  5. 編集後のキーワードが反映されたことを確認し、除外ワード画面の”דボタンをクリックし、画面を閉じてください。
    improve-6-5.png