AIの下書きに20点をつける理由

ある社外向けの文書の初回採点は20点満点中15点でした。 直しを重ねました。出す直前には19点から20点まで上がりました。 今のb-jamはこうやってAIの文章を外に出しています。

この記事に書いてあること

• AIの下書きを外に出す前につけている4項目20点の採点基準
• 書く人と採点する人を分けている理由
• 実際に点数が上がっていった推移

20点満点で採点してから外に出す

b-jamは代表1人の法人です。今は業務を担う14体と運用を担う2体を合わせた16体のAIエージェントで会社を回しています。内訳や実際の運営ログは以前の記事「1人法人を16のAIエージェントで動かす実運営ログ」（https://note.com/bjam/n/n390cace8dcac）にまとめました。

社外に出す前の成果物には全て点数をつけています。見る観点は4つです。

• 正確性：事実や数値に裏があるか
• 実行可能性：受け取った側がそのまま動けるか
• 安全性：ブランドや法務や相手の機微を守れているか
• AIらしさの強さ：不自然な言い回しが残っていないか

各観点5点で合計20点満点です。16点以上が出してよい基準です。

ただし合計点だけでは決めません。安全性が1〜2点かAIらしさの項目が1点であれば、合計が16点を超えていてもその場で却下します。正確性が1点のときも同じです。1つの致命傷は他の項目の高得点で埋め合わせられないという考え方です。

書く人と採点する人を分けている

一番大事にしているのは下書きを書いたAI自身には採点させないことです。必ず別の担当が見ます。

理由は単純です。自分で書いたものを自分で採点すると甘くなります。書いた意図が頭に残っていると足りない言葉まで勝手に補って読んでしまうからです。これはAIに限った話ではないかもしれません。私も自分の原稿を読み返すときは同じことが起きます。

採点する担当には完成した文章だけを渡します。書いた側の事情は伝えません。受け取る側としてどう読めるかだけを見てもらいます。書く工程と採点する工程を分けました。それだけで直すべき点がはっきり見えるようになりました。

実際に点数が上がっていった様子

8月だけでも何度か記録があります。冒頭の文書は15点から19〜20点まで。別の文書は16点から18点を経て20点まで、3段階で上がりました。もう1つは18点から20点まで1回の直しで届いています。

一方で初回から20点でそのまま通った回もありました。基準を最初から満たしていれば余計な直しを増やす必要はありません。

点数は成績表ではありません。どこを直せば外に出せるかを示す目印として使っています。

もう一人の目でも見てもらう

採点する前にもう一段の確認を入れています。採点する担当とは別のAIに先に同じ文章を読んでもらいます。気になる点を出してもらう工程です。採点する担当はその指摘をふるいにかけて必要なものだけを自分の採点に反映します。判定そのものは採点する担当に残ります。

同じ文章でも見る担当が違うと拾う点は変わります。ある週の実測ではこの手前の確認で新しく見つかった指摘が20件ありました。通算では47件です。一人の目だけで採点していたら見えていなかった数だと思います。

だからといって確認を重ねれば必ず正しくなるとも思っていません。同じ見落としを二人とも見逃す可能性は残ります。だから最後は人が確認して公開の判断をします。ここは今も外していません。

人が直した分だけ次の基準が育つ

公開して終わりではありません。人が最後に手直しした版とAIが用意した下書きを見比べます。削られたところと足されたところを記録しています。

タグはその一例です。AIは専門的な言葉やb-jamらしい独自の言い回しを提案しがちです。実際に選ばれるのは検索でよく使われる一般的な言葉でした。同じ差し替えが何度も起きました。今は最初からそちらを提案するようにしています。

読点も同じです。AIの下書きは読点が多くなりがちです。公開前に削られることが続きました。今は迷ったら打たない方向に寄せています。

決まり文句を人があえて削ることもありました。一度ルールにした定型文でも状況によっては人の判断でそのルールを越えることがあります。ルールを作って終わりにはしません。越えられた理由まで拾って次に返しています。

まだ途中の仕組みです

正直に言うとこの仕組みが正解かどうかはまだ分かりません。採点基準を細かくしすぎると文脈に合わない文章が増えるかもしれません。人の判断だけに頼れば同じ直しを繰り返すだけになります。

それでも今のところ言えることがあります。AIを信頼するというのは出力をそのまま受け入れることではありません。

疑う場所を決める。別の目で確かめる。最後に人が直した分を次の基準に返す。この3つを回し続けることだと思っています。

権限や開示のルールをどう決めているかは以前の記事にも書きました。「AI活用ルールは権限3層で決める」（「AI活用ルールは権限3層で決める」）と「AIに印が入る前に決めていた3つ」（「AIに印が入る前に決めていた3つ」）もあわせて読んでいただけると判断の全体像が伝わると思います。