24時間対応のBenchmark Emailサポート専用のAIチャットボットとは？色々と質問してみた

こんにちは！Benchmark Emailカスタマーサクセス担当の林です。
カスタマーサクセスチームでは、ユーザー様からいただく様々なお問い合わせやご相談を拝見し、テーマ別のセミナー開催やFAQページを始めとした資料アップデートを行うなど、サービス改善に努めております。

現在Benchmark Emailでは、AI技術の進展に合わせ、スマートコンテンツ機能の実装や、デザインに関連したAI機能を準備しています。

私たちは日々、ユーザー様からのお問い合わせ対応をメールにて（一部チャットにて）行っておりますが、製品サポートにおいても「AI技術の進展、活用のメリット」をお客様にいち早くご提供できる体制作りができないか？と考えておりました。

そこでこの度、新しい仲間（ツール）を導入することにしました！
その名も、Benchmark Email AI サポート（β版）（以後、AIサポート君）です。

すでにご利用いただいている方もいるかもしれません。
AIサポート君はFAQページの情報を元に質問に回答するチャットボットで、FAQページの上部や、問い合わせフォームからアクセスが可能です。

この記事では、AIサポート君への様々な質問を通して、「どんなことを質問できるのか？」「回答の精度はどのくらい？」「回答を得るための質問の仕方のコツは？」といったことをお伝えできればと思います。

AIサポート君にあれこれ質問してみた

早速、AIサポート君に質問をしてみましょう。
まずはシンプルな質問を投げてみたいと思います。

質問：「メールに動画を入れられますか？」

回答：「はい、メールに動画を挿入することができます。以下の手順に従ってください。

1. ダッシュボードメニューから「メール」をクリックし、「メール」を選択します。
2. 新規メールを作成するか、既存のメールを開き、「本文＆デザイン」をクリックします。
3. 左のブロックメニューから「動画ブロック」を編集画面上の好きな位置に配置します。
4. ブロック内の「動画へのリンク」をクリックします。
5. 動画ギャラリーが開きますので、挿入したい動画のサムネイルをクリックします。
6. 編集画面に戻り、動画の挿入を確認後、「保存＆閉じる」ボタンをクリックして完了です。

詳細な手順や画像付きのガイドは、こちらのページをご覧ください。」

ステップごとに丁寧に解説し、最後に関連するFAQページへのリンクも教えてくれました。

AIサポート君、なかなか頑張ってくれているようです。

では次は、少し難易度を上げて質問をしてみたいと思います。

質問：「オートメーションの配信日時が変更できません。なぜですか？」

回答：「オートメーションの配信日時は、一度稼働した後に変更することはできません。配信日時を変更する場合　　　は、ステップメールをコピーして編集する必要があります。詳細はこちらをご覧ください。この回答で解決しない場合は、お手数ですが問い合わせフォームよりサポートまでご連絡ください。」

今回も、丁寧に理由を説明するとともに、関連FAQページのリンクを教えてくれました。

導入したばかりなのに、トラブルシューティングまでできてしまうAIサポート君。私が想像していたよりも優秀です。

もしかして、かなり複雑な質問でも回答できてしまったりするのでしょうか。期待で胸が高まります。

今度は、さらに難易度の高い質問をしてみましょう。

質問：「1通目のステップメールが配信された後、2通目のメールが送られなくなりました。原因は何が考えられますか？」

回答：「申し訳ございません。私ではご回答ができません。この問題については、以下のページをご参照ください。https://kb.benchmarkemail.com/jp/how-do-i-activate-my-autoresponder/
この回答で解決しない場合は、お手数ですが問い合わせフォームよりサポートまでご連絡ください。」

関連していそうなFAQページは教えてくれたものの、正確な回答は得られませんでした。
AIサポート君はFAQページの情報のみを元に回答を行うため、当たり前ですが記載がないデータについては回答ができないようです。

では最後に、こちらの質問はどうでしょうか。少し意地悪かもしれませんが、回答がこのFAQページにあることを知りつつ聞いてみます。

質問：「有効なアドレスがハードエラーになってしまう原因は？」

回答：「有効なアドレスがハードエラーになる原因は、以下のようなものが考えられます：

・受信箱が存在しない
・受信箱が非アクティブである
・ユーザーが不明である
・ドメインが存在しない
・迷惑メールフィルターにより、メールがハードエラー扱いになる場合がある

詳細な情報については、以下のページをご参照ください。
https://kb.benchmarkemail.com/jp/managing-email-bounces/#valid-emails-bouncing

この回答で解決しない場合は、お手数ですが問い合わせフォームよりサポートまでご連絡ください。」

AIサポート君、惜しくも少し異なる回答をしてしまいました。

「有効なはずのメールアドレスがハードエラーになる場合の理由」を尋ねたのですが、返ってきた回答は「一般的なハードエラーの説明」でした。案内されたFAQページは適切なものだったため完全に間違っているわけではないのですが、もう少しOJTが必要なようです。

AIサポート君についてわかったこと

シンプルな質問やあまり複雑でない質問には回答できるものの、少しずれた回答をすることもあったりと、AIサポート君はまだまだ成長過程にあることがわかりました。

また、今回のやりとりを通じて、AIサポート君には、答えやすい質問の仕方と、答えづらい質問の仕方があることもわかったため、次章で詳しくご紹介します。

AIサポート君から正確な回答を得るコツとは

AIサポート君から正しい回答を得るためのポイントを、以下に3つ記載しました。質問するコツを説明した動画もありますので、よろしければそちらもご覧ください。

1. 単語ではなく、文章で質問をして下さい。Google検索を行う時のように「ロゴ非表示」や「メール　動画」など単語だけ入力した場合は回答ができないことが多いです。人に質問をするように文章にして、「ロゴを非表示にする方法は？」「メールに動画を入れられますか？」という風に尋ねるとちゃんと回答してくれました。
2. 目的語や修飾語を入れて質問をして下さい操作方法などを尋ねる際、「どこにある」「何を」「どうしたい」と細かく指定してあげると回答しやすいようです。例えば、「メールのフッターにある住所の編集方法は？」といった聞き方がおすすめです。
3. 回答を得られない場合は、言い回しを変えてみて下さい。上記の1と2を守って質問しても、「わかりません」と回答をしてくるケースもあります。そんな時は、少しだけ言い回しを変えてあげると答えてくれることがあります。例えば、「〇〇を確認したい」だと回答が得られなかったものの、「〇〇を表示する方法は？」といった聞き方であれば正しい回答が得られたりします。