AIに90日間会社経営をさせたら｜CoffeeBench公開

LLMが企業活動の一部を担う社会を見越し、価格交渉・発注・在庫管理・資金繰りといった実務的な長期判断でモデルの実力差を可視化する枠組みである点が重要だ。最終的な利益だけでなく、各モデルの行動特性まで観察でき、特定モデルが「考えているのに動かない」停滞現象を起こすなど、短期ベンチマークでは見えない弱点が浮かぶ。さらに、強い業績プレッシャー下での会計不正（架空取引や押し込み販売）の発生メカニズムを研究する基盤としての拡張も視野に入れており、AIガバナンスの観点でも注目される。

評価方法はシンプルだ。6社のうち焙煎店Aだけを評価対象のモデルに運営させ、残り5社はすべてClaude Sonnet 4.6に固定する。同じ条件で3回動かし、その平均で比較する。これで「対戦相手の質」を揃えたまま、焙煎店Aを担うモデルの実力だけを取り出せる。

結果、全モデルが「何もしない受動的(Passive)ベースライン」を上回ったが、その上げ幅には大きな開きが出た。高成績のモデルは、原料を仕入れる農家と、商品を売る小売店の双方へ積極的に交渉や販促のやり取りを仕掛ける傾向があった。受け身で待つのではなく、サプライチェーンの両側に働きかけることが利益につながった。

90日という長さは、価格交渉・発注・在庫管理・資金繰りといった実務的な判断を何度も連続して下すことを意味する。単発の問いに正しく答える短期ベンチマークとは、測っている能力がそもそも違う。

もっとも目を引いたのはClaude Haiku 4.5だ。全モデルがベースラインを超えたなかで、このモデルだけが赤字に沈んだ。原因は能力不足ではなく、行動の欠落だった。

Haiku 4.5は分析や方針は考え続けるのに、実際の発注や交渉といった行動を起こさず、待機を繰り返した。Sakana AIはこれを「思考と行動の乖離」と呼び、3試行すべてで同じ停滞が起きたと報告している。頭の中では経営を続けているのに、手が動かないまま90日が過ぎていく状態だ。

この現象は、短期の正答率ベンチマークでは決して表に出ない。1問1答なら正しく答えられても、長期の連続判断では「考えたうえで動き続ける」ことが別の能力として要る。エージェントとしてモデルを業務に置くとき、スコアの高さだけを根拠に選ぶと、実運用でこの落とし穴を踏みかねない。