b-jam

Geminiに2つ同時に頼んだら片方が抜けた

今井雄大・公開 ・Google WorkspaceのGemini

この記事の要点

Geminiに一度に2つ頼むと何が起きるか4回の試行で確かめた記録

「メールを整理して、空いている時間も出して」。ある顧客向けの秘書AIの試作で、Geminiに一度にこう頼みました。返ってきたのは「Gmail 未接続」の一言だけです。裏で聞くとカレンダーは32件の予定を読んでいたのに、メールは1通も読まれていませんでした。

この記事に書いてあること

  • Google WorkspaceのGeminiにメールと予定を一度に頼むと何が起きたか
  • 4回の試行で分かった頼み方の3つの癖
  • 秘書AIを配るときに決めた運用

何をしていたか

ある顧客向けの秘書AIの試作を進めています。Geminiには「Gem」という指示文を保存して使い回せる機能があり、そこに「未読メールを①要返信か②会議が要るか③返信案④空き枠候補の4点に整理して」と頼みました。b-jam自身のGoogle Workspace(Geminiアプリの3.6 Flash世代・Gem機能)に架空の未読メール8通を用意しての実験です。前作のGemini Sparkに仕事を任せて見えたことに続く実験ですが、今回はGemに保存した指示で朝の定型業務を回せるかを確かめています。

1回目 メールは読めたが予定は見ていなかった

8通中7通は正しく仕分けられました。残る1通は判断を保留する側に倒れています。ただし④の空き枠候補はカレンダーを見ないまま候補を出していました。出てきた候補のひとつが、実際に予定が入っている時間帯と重なっていたんですよね。

カレンダーを参照したかと聞いても答えは返らず、同じ仕分けをもう一度やり直すだけでした。もっとも素のGeminiに同じアカウントでカレンダーを聞くと出典つきで正確に読めていたので「予定を読めない」わけではありません。Gemに整理を頼んだときだけ読みに行かないという癖でした。

2回目と3回目 書き方を変えて2つの失敗

指示文に「@Googleカレンダーで確認」と書き足してみました。それでも参照は起きず、Gemは参照していないと正直に返してきました。捏造しなかった点は悪くありません。

ただ同時に別の問題も出ました。「見落としより過検出を優先する」というルールを強めに書いていたせいで、フィッシング風のメールに返信案まで書いてしまったんです。これは退行でした。

3回目は頼む文の途中に「@Google Calendar」と打ってみました。すると今度はGmailまで読まなくなり、存在しないメールを作って処理してしまいました。指示文にルールを足すほど良くなるわけではないという学びです。以前『いい感じで』ではAIは動かないで指示の粒度について書きましたが、今回はデータを見に行く頼み方まで確かめる必要がありました。

4回目 分けたら通った

3つのガードを入れました。迷惑メール判定を先に済ませる、Gmailを参照できなければ止まる、出典のない項目は書かない、の3つです。

まず@のチップでメールとカレンダーを同じ1回の指示に入れると「Gmail 未接続」と出て止まりました。裏で聞くとカレンダーは32件読んでいてGmailは0回です。1回の指示で2つのツールを頼むと片方が抜けるという構図が、ここでも出ました。

チップを外してメールだけ頼むと8通すべて期待どおりに処理され、所要は約40秒でした。根拠を確認できなかった④は候補を出さず「カレンダー未確認」と書いていて捏造はありません。続けて同じチャットの2回目の指示でカレンダーだけを頼むと実際の予定を根拠にした空き枠候補が3組返ってきました。1回で全部を頼むのをやめて2回に分けたことで、3日越しの4回目の試行でようやく成立しました。

分かった3つの癖

ここまでの試行で、Geminiの頼み方には3つの癖があると分かりました。

  1. Gemの指示文そのものはデータを呼べません。呼ぶのは頼む側のプロンプトです。カレンダーは行頭の@から選んだチップでないと呼べませんでした
  2. 「@」は行頭でしか効きません。文中に置いた「@」はただの文字として扱われ、3回目の捏造はここが入口でした
  3. 1回の指示で見に行くWorkspaceのデータは実質1つに絞られます(Workspace版3.6 Flash・Gemでの観測です)

1回で2つ頼むと片方が抜ける。2回に分けると両方通る

1回の指示にメールとカレンダーを両方入れると片方が抜けます。2回に分けて頼むと両方とも通ります。

最新モデルではどうか

もう一つ試したことがあります。個人向けのGoogle AI Proで使えるGemini(3.8 Flash)に、同じ1回の頼み方をしてみました。素のチャットでも、Gemを複製した環境でも、今度は両方を見に行きました。Gemの指示文そのものが原因ではなかったことになります。

ただしここには面とモデル世代が同時に絡んでいます。WorkspaceのGemini(3.6 Flash・Gem)では2回に分ける必要があり、消費者版のGemini(3.8 Flash)では1回で両方を見ました。だからといって「3.8で直った」とは言い切れません。面とモデル世代を同時に切り替えているので、どちらが効いているかはまだ分けられていないんです。私が試したWorkspaceのGeminiでは、9月6日時点で3.8世代がまだ選べませんでした。顧客が今日使うのもWorkspace版なので、手順は2回のままにしています。

秘書AIを配るときに決めたこと

ここまでの試行錯誤から、3つのことを決めました。

  1. 朝の定型は2回に分けます。「メールを整理して」のあとに「@カレンダーを見て空きを出して」を続けて頼みます。このとき「さっきの仕分けはやり直さないで」と一言添えます
  2. 見に行けなければ止まり、出典のない項目は書きません。捏造ゼロを何より優先します
  3. 指示文(Gem)は共有で配ります。使う人は定型文を2回貼るだけで済むようにし、属人化させません

「1回で全部」を諦めると運用はかえって安定するというのが今回の実感です。うまくいかないときは、指示文にルールを足す前に頼み方そのものを分けてみる価値があります。

出典・参考リンク

同じ環境の記事