ベンチマーク

AIニュース

Grok 4.5レビュー:ベンチ・価格・トークン効率を検証

Grok 4.5は入力$2・出力$6(100万トークンあたり)で、出力トークンはOpus 4.8比で約4.2分の1。ただしベンチマークで首位なのはSWE Marathonだけです。公式発表の数値だけで、強みと注意点を整理しました。
AIニュース

GPT-5.5ベンチマーク公開の報告と読み方の注意点

Redditで話題の「GPT-5.5ベンチマーク公開」の投稿を整理しました。取得できた本文には具体的なスコアや比較が見当たらず、数値で判断する前に公式発表を確認する必要があります。その確認ポイントを解説します。
AIニュース

OpenAI「Astra for Law」法務特化AIの中身

OpenAIが法律事務所・リーガルテック向けのAI基盤「Astra for Law」を発表。GPT-6 Astraに米国法の検索インデックスを組み合わせ、自社ベンチで54.0%を記録した。発表内容と、公表されていない未確定事項を整理する。
AIニュース

Qwen 3.6 27B、Agentic指標でSonnet 4.6に並ぶ

Qwen 3.6 27BがArtificial AnalysisのAgentic IndexでSonnet 4.6に並んだとRedditで報告されました。分かっている事実と、スコアの数値や測定条件など未確定の点を分けて整理します。
AIニュース

フィールズ賞受賞者25名が警告するAIと数学のズレ

テレンス・タオら25名のフィールズ賞受賞者が共同声明を公開。AI企業が数学の未解決問題をベンチマーク化する動きが、理解・帰属・人的継承という数学本来の目標を損なうと警告している。原文引用で整理した。
AIニュース

ローカルQwen 3.6 vs 上位モデルのCanvas比較

r/LocalLLaMAに投稿された、ローカルQwen 3.6とフロンティアモデルを単一HTMLのCanvasアニメで比較した検証スレッド。タイトルから確認できる事実と、現時点では判断できないことを切り分けて整理する。
AIニュース

GPT-6 Astra レビュー|公表値で見る実力

OpenAIがGPT-6 Astraを発表。ベンチマークのスコアより、OSWorld 2.0で約47%短い所要時間・Mind2Webで1.9倍・範囲逸脱0%という実務指標が本題だ。公式発表の記載だけで整理し、比較の限界も明示する。
AIニュース

Claude Fable 5.1、値下げと精度の両取り

Anthropicが Claude Fable 5.1 と Mythos 5.1 を公開。両者は同一モデルでセーフガードだけが違う。キャッシュ読み取り値下げによる約25%のコスト減と、ベンチマークに付いた但し書きを公式発表ベースで整理した。
AIニュース

SWE Benchの信頼性に疑問符|OpenAI評価中止の報

「SWE Benchはbenchmaxxされた」とするReddit投稿が話題。コーディング指標の信頼性を巡る議論を、確認できる一次情報の範囲で慎重に整理した。