Gemini 4 Argonを自分の仕事で試した結果

AIモデルの発表で見る「ベンチマーク1位」は、自分の仕事を任せられる保証ではありません。 判断材料が欲しければ、発表の翌日に自分の仕事の問題で試すのが早い道です。 Googleの新モデルGemini 4 Argonで試した私の結論は「文書の欠陥を探す役の候補にはなるが、まだ一人では任せない」でした。

発表の「1位」は他人の問題の成績にすぎない

Googleは10月13日にGemini 4 Argonを一般提供にしました。公式は総合ベンチマークVals Indexの1位や、外から埋め込まれた命令への攻撃成功率0.7%（適応攻撃15回での値）、コーディングで近道に逃げる「ごまかし」2%などを挙げています。社内テストやパートナー報告に基づく数字が多く、日本語の性能に触れた記述はありません。

b-jamでは外に出す文書を出す前にAIに2段階で見せています。1段目が欠陥を探す役、2段目が「そのまま出す・直す・出さない」を決める役で、最後は人が見ます。公式の主張のうち多段の推論の強さと近道の少なさは、この仕事に当てはまりそうでした。コーディングの数字が文書の審査に移るかは分かりません。

だから自分の仕事に近い問題を選び、失敗しても痛くないものから試します。

同じGeminiでも契約や画面によって使えるモデルが違う

Google AI Proのアプリのモデル選択には「4 Argon」が出ていました。私が契約しているWorkspace版のGeminiには出ず、コマンドラインツールのAntigravityにも出ません。9月にはWorkspace版の画面だけを見てGemini 3.8は使えないと判断し、個人契約のアプリで使えると分かって訂正しました。AIの可否を書くときは、どの契約のどの画面の話かを必ず添えるようにしています。

合格条件を試す前に決めておけば結果を都合よく読まずに済む

結果を見てから基準を決めると良い面だけ拾ってしまいます。題材は以前に自分で作って審査した文書3本（配布用の1枚もの・提案の下書き・note記事）で、直すべき欠陥が記録に7つあります。7つのうち一部は直す前の状態に戻し、1つは植え込みました。欠陥の一覧は渡さず、以前のモデルに使ったのと同じ依頼文と規則だけを渡しました。

試す前に決めた合格条件は3つです。

• 欠陥7つをすべて見つける
• 指摘のうち正しいものの割合が53%以上
• 「出す・直す・出さない」の判断が、過去に人が下した判断と3本中2本以上同じ

1つ目と2つ目が探す役の試験で、3つ目が決める役の試験です。

53%はこれまで探す役に使ってきたGPT-5.6 Sol（思考レベル中）が出す指摘のうち正しかった割合です。9月に後継のGPT-6 Solへ切り替えたときは46%でした。指摘が正しいかの採点は、どのモデルの出力か知らせないまま別のAI（Claude Opus）に任せています。

欠陥は7つ中6つ見つかり判断は思考レベルを上げると3本中2本当たった

アプリの思考レベルは「安値」「中」「高値」の3段階です。両端の2つで同じ3本を審査しました。以下では低・高と呼びます。

低（初期設定）

• 欠陥の検出 6/7
• 正しい指摘の割合 69%（26件中18件）
• 判断の一致 0/3
• 1本あたり18〜45秒

高

• 欠陥の検出 6/7
• 正しい指摘の割合 63%（41件中26件）
• 判断の一致 2/3
• 1本あたり136〜174秒

低は3本とも判断を外しました。提案の下書きを「そのまま出す」としたのは、同じ3本を以前に別のAIに審査させた18回の出力の中で初めての甘い側の誤りです。高は下書きと記事を「直す」に着地させて2本が一致しました。正しいか際どい指摘をすべて誤りと数えると、低は62%、高は51%まで下がり、高は合格線の53%を割ります。

高にすると合計で約5倍の時間がかかり、正しい割合は69%から63%に下がる代わりに判断が当たりました。今回の結果からは探す役なら低、決める役を試すなら高を選びます。

見落とした1つは直すと欠陥が深まる向きの指摘だった

見落としたのは提案の下書きにあった一文です。読み手がCopilotの有償契約を持つか確かめないまま、既存のMicrosoft 365の範囲でできると言い切っていました。確かめていない前提は条件つきの書き方に直すのが私のルールです。

Argonはこの一文に目を留めたものの、出した直しは「Copilotと明記する」でした。前提をさらに強く断定する向きで、低でも高でも同じ形で出ました。以前に別のAIで試した6回のうち3回もこの一文を見落としています。AIの指摘は直す向きまで人が見てください。

欠陥を探す役の候補にはなるがまだ一人では任せない

合格条件に当てると結果は次のとおりです。

• 欠陥をすべて見つける（6/7で未達）
• 正しい割合が53%以上（低69%・高63%で達成。ただし高は厳しく数えると51%で未達）
• 判断が3本中2本以上同じ（高のみ2/3で達成）

探す役は1つ目が未達なので候補止まりです。決める役は高なら合格ラインで、低では外します。どちらも「使える」とは書きません。最後に人が確かめる運用は変えません。

限りもあります。試したのは3本で各設定1回、画面はGoogle AI Proのアプリだけです。比べた従来のモデルには文書をファイルで渡しましたが、今回はチャットに貼り付けたので条件が同じではありません。新しいチャットを開くたびに思考レベルが低に戻り、モデルがFlashに戻ることもあったので、送る前に選択を確かめてください。

発表の翌日に自分の仕事で試す手順は3つだけ

1. 公式の主張から自分の仕事に近いものを選び、失敗しても痛くない課題を1本目にする
2. 合格条件を試す前に固定し、一部だけ満たしたときは満たした項目を分けて書く
3. 正しさの採点は出力がどのモデルのものか知らせない別のAIに任せる

同じ試し方でClaude Opus 5.5とGPT-6 Solを比べた記録も書いています。どの業務から試すかで迷うときは「最初の1業務をどう選ぶか」も読んでみてください。

AIに任せる仕事の品質検査から一緒に設計する伴走をしています：https://b-jam.co.jp