シナリオ/FAQ判定精度改善ログの情報を元に、シナリオ判定に失敗したユーザー発言を、既存シナリオ/FAQを選択して発言例に追加、または新規シナリオ/FAQの発言例として作成することが可能です。
また、シナリオ/FAQに反映させる必要のないユーザー発言を、除外ワードとして登録することで、判定精度改善ログへの表示を制御することも可能です。
手順(シナリオの発言例に追加)
- 左メニューの『アナリティクス』から『利用状況』を選択し、シナリオ/FAQ判定精度改善ログを確認したいアプリケーションの”確認画面へ移動“をクリックしてください。
- 『シナリオ/FAQ判定精度改善』タブをクリックしてください。
- 『ログ種別』リストから「シナリオ」を選択することで、シナリオの判定精度改善ログが確認できます。
- ユーザー発言ごとに、関連すると思われるシナリオ候補が、スコア順に上位3位まで表示されます。
判定結果より、シナリオ判定失敗後のユーザー動作が確認できます。
判定結果 説明 候補なし 候補複数提示([どれでもない]を選択) 候補複数提示(シナリオ<選択したシナリオ名>を選択) シナリオでチャットボットが複数の候補を提示し、ユーザーが候補の中から1番目以外を選択した場合
(シナリオ判定結果のスコア(確信度)が0.2以上のシナリオを候補として提示)候補複数提示([どれでもない]を選択) シナリオでチャットボットが複数の候補を提示し、ユーザーが候補の中から選ばず、「どれでもない」を選択した場合
( シナリオ判定結果のスコア(確信度)が0.2以上のシナリオを候補として提示)-
ユーザー発言を発言例として追加したいシナリオが、シナリオ候補にある場合
- 発言例を追加したいシナリオ行の、”+発言例に追加“をクリックしてください。
- 「ユーザー発言を発言例に追加しました。チャットボットに反映させるには、チャットボットの学習を行ってください。」というメッセージが表示されます。
- 発言例を追加したいシナリオ行の、”+発言例に追加“をクリックしてください。
-
ユーザー発言を発言例として追加したいシナリオが、シナリオ候補にない場合
- シナリオ候補の下にあるシナリオ選択リストから、発言例を追加したいシナリオを選択し、”+発言例に追加“をクリックしてください
- 「ユーザー発言を発言例に追加しました。チャットボットに反映させるには、チャットボットの学習を行ってください。」というメッセージが表示されます。
- シナリオ候補の下にあるシナリオ選択リストから、発言例を追加したいシナリオを選択し、”+発言例に追加“をクリックしてください
-
ユーザー発言を発言例として利用し、新規シナリオを作成する場合
- “+新しいシナリオを作成“ボタンをクリックしてください。
- 『ユーザー発言例』にユーザー発言の内容が入力された状態で、新規シナリオ作成画面が表示されます。
シナリオを作成し、”保存“ボタンをクリックしてください。
- “+新しいシナリオを作成“ボタンをクリックしてください。
-
ユーザー発言を発言例として追加したいシナリオが、シナリオ候補にある場合
- 左メニューの『チャットボット一覧』から、発言例を追加したチャットボットを選択し、”保存してチャットボットを学習“ボタンをクリックして再学習してください。
- 公開中のアプリケーションに反映させる場合は、再度公開を行います。
- 左メニューの『アプリケーション』から、発言例を追加したチャットボットを公開しているアプリケーションを選択してください。
- アプリケーション画面の”公開“ボタンをクリックしてください。
- 左メニューの『アプリケーション』から、発言例を追加したチャットボットを公開しているアプリケーションを選択してください。
手順(FAQの質問例に追加)
- 左メニューの『アナリティクス』から『利用状況』を選択し、シナリオ/FAQ判定精度改善ログを確認したいアプリケーションの”確認画面へ移動“をクリックしてください。
- 画面上部にある『シナリオ/FAQ判定精度改善』タブをクリックしてください。
- 『ログ種別』リストから「FAQ」を選択し、右に表示される『FAQ』リストから既存FAQ集を選択することで、FAQ集ごとの判定精度改善ログが確認できます。
- ユーザー発言ごとに、関連すると思われる質問回答候補が、スコア順に上位3位まで表示されます。
判定結果より、FAQ判定失敗後のユーザー動作が確認できます。
判定結果 説明 候補なし FAQ判定ができなかった場合
(FAQ判定結果のスコア(確信度)が全て0.2以下)候補複数提示(シナリオ<選択したFAQ名>を選択) FAQでチャットボットが複数の候補を提示し、ユーザーが候補の中から1番目以外を選択した場合
(FAQ判定結果のスコア(確信度)が0.2以上のシナリオを候補として提示)候補複数提示([どれでもない]を選択) FAQでチャットボットが複数の候補を提示し、ユーザーが候補の中から選ばず、「どれでもない」を選択した場合
( FAQ判定結果のスコア(確信度)が0.2以上のシナリオを候補として提示)-
ユーザー発言を質問例として追加したい質問回答が、質問回答候補にある場合
- 質問例を追加したい質問回答行の、”+質問例に追加“をクリックしてください。
- 「ユーザー発言を発言例に追加しました。チャットボットに反映させるには、チャットボットの学習を行ってください。」というメッセージが表示されます。
- 質問例を追加したい質問回答行の、”+質問例に追加“をクリックしてください。
-
ユーザー発言を質問例として追加したい質問回答が、質問回答候補にない場合
- 質問回答候補の下にある質問回答選択リストから、質問例を追加したい質問回答を選択し、”+質問例に追加“をクリックしてください。
- 「ユーザー発言を発言例に追加しました。チャットボットに反映させるには、チャットボットの学習を行ってください。」というメッセージが表示されます。
- 質問回答候補の下にある質問回答選択リストから、質問例を追加したい質問回答を選択し、”+質問例に追加“をクリックしてください。
-
ユーザー発言を質問例として利用し、新規質問回答を作成する場合
- “+新しい質問回答を作成“ボタンをクリックしてください。
- 『質問例』にユーザー発言の内容が入力された状態で、新規質問回答作成画面が表示されます。
質問回答を作成し、”保存“ボタンをクリックしてください。
- “+新しい質問回答を作成“ボタンをクリックしてください。
-
ユーザー発言を質問例として追加したい質問回答が、質問回答候補にある場合
- 左メニューの『チャットボット一覧』から、質問例を追加したチャットボットを選択し、”保存してチャットボットを学習“ボタンをクリックして再学習してください。
- 公開中のアプリケーションに反映させる場合は、再度公開を行います。
- 左メニューの『アプリケーション』から、発言例を追加したチャットボットを公開しているアプリケーションを選択してください。
- アプリケーション画面の”公開“ボタンをクリックしてください。
- 左メニューの『アプリケーション』から、発言例を追加したチャットボットを公開しているアプリケーションを選択してください。
手順(除外ワード登録)
- 除外ワードを登録したいアプリケーション利用状況確認画面を選択し、『シナリオ/FAQ判定精度改善』タブをクリックしてください。
-
判定精度改善ログに登録されたユーザー発言を、除外ワードとして登録する場合
- 除外ワードとして登録したいユーザー発言が含まれた判定精度改善ログを表示してください。
- 除外ワードとして登録したいユーザー発言行の”-該当シナリオなし“ボタンをクリックしてください。
- 「ユーザー発言を除外ワードに追加しました。」というメッセージが表示されます。
- 除外ワードを確認する場合は、 “除外ワード“をクリックし、除外ワード画面を開きます。
- ユーザー発言が除外ワードとして登録されたことを確認してください。
-
除外ワードを予め登録する場合
- 判定精度改善ログに反映させる必要のないキーワードを予め登録することが可能です。
“除外ワード“をクリックしてください。
- “+新規作成“ボタンをクリックしてください。
- 『キーワード』に除外したいキーワードを入力し、”保存“ボタンをクリックしてください。
- 除外ワードとして登録されたことを確認し、除外ワード画面の”דボタンをクリックし、画面を閉じてください。
- 判定精度改善ログに反映させる必要のないキーワードを予め登録することが可能です。
-
判定精度改善ログに登録されたユーザー発言を、除外ワードとして登録する場合
- 除外ワードに登録されたキーワードを含む(部分一致)ユーザー発言は、判定精度改善ログでの非表示対象となります。
除外ワードは、シナリオ/FAQのどちらのログにも反映されます。
例:「これはチャットボットですか?」を除外ワードに登録
[除外ワード登録前]
[除外ワード登録後]
手順(除外ワード削除)
- 登録した除外ワードを削除したいアプリケーション利用状況確認画面を選択し、『シナリオ/FAQ判定精度改善』タブをクリックしてください。
- “除外ワード“をクリックしてください。
- 除外対象から削除したいキーワード行の削除”דボタンをクリックしてください。
- キーワードが削除されたことを確認し、除外ワード画面の”דボタンをクリックし、画面を閉じてください。
- 除外ワードから削除されたキーワードを含む(部分一致)ユーザー発言は、判定精度改善ログでの表示対象となります。
除外ワードは、シナリオ/FAQのどちらのログにも反映されます。
例:「これはチャットボットですか?」を除外ワードから削除
[除外ワード削除前]
[除外ワード削除後]
手順(除外ワード編集)
- 除外ワードを編集したいアプリケーション利用状況確認画面を選択し、『シナリオ/FAQ判定精度改善』タブをクリックしてください。
- “除外ワード“をクリックしてください。
- 編集したい”キーワード“をクリックしてください。
- 『キーワード』を編集し、”保存“ボタンをクリックしてください。
- 編集後のキーワードが反映されたことを確認し、除外ワード画面の”דボタンをクリックし、画面を閉じてください。