OpenRouterのDev Rel Leadを務めるJacky Liang氏が、11種のLLMを2Dバトルロイヤルゲームに入れて30試合戦わせた実験を公開しました。結果だけ先に言うと、最も多く勝ったのはGrok 4.1 Fast（30戦13勝）です。一方のClaude Sonnet 4.6は、試合中もほかのエージェントにチームを組もうと呼びかけ続けていました。著者は「バトロワで勝つのは前者。ただ、これからモデルを組み込む多くの場所で欲しいのは後者」とまとめています。ベンチマークのスコアでは見えないモデルの「性格」が、エージェントとしての振る舞いにそのまま出たという報告です。
何が報告されたか
舞台は、著者がCanvas 2Dで作った400×400mの見下ろし型バトルロイヤルです。11モデルが同じマップで30試合を続けて戦いました。初期位置はランダムで、一般的なバトロワと同じく一直線の「フライトパス」に沿って決まります。ゲーム内には武器・アーマー・回復アイテム・グレネード・車があり、ランダムな位置で縮小するゾーンがプレイヤー同士を近づけていきます。各モデルには相手がどのモデルかは知らされず、AからKのアルファベットでしか見えません。
著者が強調しているのは、LLMにゲーム操作用のコードを書かせる方式ではなく、LLM自身が毎ターン考えてツールを呼び出し、プレイしている点です。各モデルは試合の合間に2つのファイルを自分で書き換えられます。毎回のプロンプトに追加されるペルソナのsoul.mdと、ターン0で読み込まれるゲームメモのmemory.mdです。どちらも最初は空で、中身はすべてモデル自身が書いています。
Grok 4.1 Fast won 13 of 30 games at $0.97 per win. The next-best winner was Claude Sonnet 4.6 with 5 wins, at $26.78 per win. That’s a 27x difference.
具体的なポイント
- 勝率トップはGrok 4.1 Fast：30戦13勝（43%）で、1勝あたりのコストは$0.97です。
- 勝利数2位はClaude Sonnet 4.6：5勝で、1勝あたり$26.78。Grokとは27倍の差があります。
- キル数と勝利は一致しない：GPT 5.4は30試合で最多の38キルを記録しましたが、勝利は2回で、リーダーボードは2位でした。
- 勝利ゼロの3モデル：GPT 5.4-mini、DeepSeek 4 Flash、Kimi K2.6は、3モデル合計で$57を使って1勝もできませんでした。
- 既存ベンチマークでは結果を予測できなかった：著者によると、Artificial Analysisなどでよく見るベンチマークは勝者を予測できていません。
- 採点方式：Apex LegendsのALGS形式にゆるく準拠しています。順位点は10/7/5/3/2/2/1/1/0/0/0で、キル+5、アシスト+1、ファーストブラッド+3、MVP+5です。
- フロンティア級モデルは対象外：Opus 4.7、GPT-5.5、Gemini Ultraは入っていません。30試合の費用は実際には$482でしたが、これらを入れると約$3,000になったためです。
他選択肢との位置付け：「アライメント税」
著者が最も興味深い発見に挙げているのが、一部のモデルが他より大きな「アライメント税（alignment tax）」を払っていたことです。勝者が1人だけのゼロサムゲームでは、それが成績に直接響きました。
Sonnetは、どのモデルよりも休戦を求め、自分の位置をほかのエージェントに伝え、戦う前にチームを組もうとしました。第8試合では、最初の50ターンで4回チームを組もうと呼びかけ、スナイパーの位置を全員に教えています。第22試合ではターン35で「Nothing personal E」と言ったまま撃ちませんでした。第27試合では武器なしで序盤を過ごして狙われ続けましたが、ターン37で武器を手に入れ、そのまま勝っています。
Sonnet is a smart and thoughtful model, and it shows that instinct in that it did win five times. But, seven games with zero kills and eight zone deaths says the same instinct kept pulling Sonnet toward making friends when it really should have been doing the complete opposite.
Grokについて元記事は「complete opposite（正反対）」と書いています。根拠として挙げているのは、xAIが「woke」なAIの反対を目指してGrokを作ったことです。そのため攻撃的な回答へのフィルタが少なく、礼儀正しいアシスタント口調を崩す方向に調整されているといいます。試合では、Grokは数試合のうちに車で体当たりする戦法を見つけていました（取得できた原文はこの部分の途中で切れています）。
まとめ
LLMが実際にプレイした30試合で、Grok 4.1 Fastが13勝し、1勝あたりのコストもClaude Sonnet 4.6の27分の1でした。
最多キルのGPT 5.4は勝ちきれず、既存ベンチマークも勝者を予測できていません。
協調的なアライメントは、ゼロサムの環境では「税」として成績を下げる要因になりました。
実装家視点で言うと、この実験で役に立つのは「どのモデルが強いか」より、タスクの性質とモデルの性格が合っているかでエージェントの成果が大きく変わるという点です。元記事も、Sonnetのように協調を優先するモデルの方が、多くの実利用の場面では望ましいと書いています。エージェントに使うモデルを選ぶときは、汎用ベンチマークのスコアだけで決めず、実際のタスクに近い環境で試して、1成果あたりのコストを測るべきだと感じました。
元記事: https://openrouter.ai/blog/insights/royale-last-agent-standing/
コメント