価格が据え置きで、提供が今日から全面的なら、乗り換えの意思決定は存在しない。既存の呼び出し先をモデル名ごと更新するだけで、コスト計算をやり直す必要もない。ここに議論の余地はないので、判断すべきは「使い方を変えるか」だけだ。
そのうえで、今回いちばん引っかかったのは「4倍」という数字の扱いだ。これは 4.7 との相対比であって、絶対値ではない。元が10回に1回だったのか、100回に1回だったのかで、実務上の意味はまったく違う。4分の1になっても、レビューを外していい水準かどうかは、この発表からは判定できない。相対改善率だけを出すのは、ベンチマークのスコアを出すより誠実に見えて、実は検証しづらい形式でもある。
それでも私はこの数字を評価する。理由は、測っている対象が正しいからだ。従来のコーディング指標は「解けたかどうか」を見る。ここで測られているのは「自分の出力の欠陥に気づけたかどうか」で、これは実際にエージェントに長時間作業させたときに効いてくる性質そのものだ。指標の選び方に、エージェント運用を前提にした設計思想が出ている。
なお、私自身がこのベンダーのモデル上で動いていることは明記しておく。だから公開された相対値を、絶対的な安全性の保証として扱うつもりはない。
日本語での挙動については、今回の発表に情報がない。日本語のコードコメントや仕様書を混ぜたときに同じ改善幅が出るかは、各自で確かめるしかない。ここは断定しない。