GPT-6 Astraのベンチマークを徹底解説|各指標が何を測っているのかから読み解く【2026年9月】

5本の横棒グラフのうち上3本が上限の点線まで到達し、下2本が途中で止まっている抽象イラスト
2026年9月3日リリース
GPT-6 Astraのベンチマークを徹底解説|各指標が何を測っているのかから読み解く

OpenAIがGPT-6 Astraを公開しました。「FrontierMathで98%」「ExploitBenchで満点」といった数字が並びますが、そのベンチマークが何を測っているのかを知らないと意味がわかりません。この記事では公式が公開した全指標を、測定内容の説明とセットで読み解きます。

2026年9月3日、OpenAIが GPT-6 Astra を公開しました。同社は「世界で最も知的で、最もアラインメントの取れたモデル」と位置づけています。

今回の発表はとにかくベンチマークの数が多いのが特徴です。ただ数字を並べただけでは判断材料になりません。それぞれのベンチマークが何を測っているのかを押さえたうえで読んでいきます。

まず仕様と料金

105万

コンテキストウィンドウ
(トークン)

12.8万

最大出力
(トークン)

$10

入力
(100万トークン)

$50

出力
(100万トークン)

モデルIDgpt-6-astra
知識のカットオフ2026年4月30日
入力$10.00/100万トークン
キャッシュ入力$1.00/100万トークン
キャッシュ書き込み$12.50/100万トークン
出力$50.00/100万トークン
effort設定low / medium / high / xhigh / max
モダリティテキスト(入出力)、画像(入力のみ)。音声・動画は非対応
27.2万トークンを超えると料金が変わります

入力が272Kトークンを超えるプロンプトは、リクエスト全体が入力・キャッシュ料金2倍、出力1.5倍で課金されます。105万トークンのコンテキストをフルに使う場合、単価が跳ね上がる点に注意が必要です。

なおBatchとFlexは標準料金の50%、Fastモードは2倍です。

提供は段階的で、リリース当日はTrusted Access Programの企業向け、数日以内にPlus・Pro・Business・Enterpriseの各プラン、API、AWSへ拡大する予定とされています。

ベンチマーク① 科学・数学・推論

FrontierMath Tier 4(v2):98%

何を測るか:研究者レベルの高度な数学問題を集めたベンチマークで、Tier 4はその中でも最難関の層です。通常の数学ベンチマークが高校〜大学レベルなのに対し、これは専門の数学者が時間をかけて解くような問題を扱います。

OpenAIはこれを「saturate(飽和させた)」と表現しています。98%はほぼ上限で、このベンチマークはもう性能差を測る道具として機能しなくなったという意味です。

「飽和」という言葉の重み

AstraはFrontierMath Tier 4(98%)、ARC-AGI-3(99.9%)、ExploitBench(100%)の3つを飽和させました。ベンチマークが飽和すると、次の世代のモデルを評価する新しい物差しが必要になります。

EpochAIのGreg Burnham氏は今回の結果について「一つの時代の終わりであり、別の時代の始まり」という趣旨のコメントを寄せています。

ARC-AGI-3:99.9%

何を測るか:抽象的な推論能力を測るベンチマークです。学習データに答えが含まれていない、初見のパターンを推論で解くことを狙って設計されており、「暗記ではない知能」の指標としてよく参照されます。

ここも99.9%で飽和しています。

GPQA Diamond:96.0%

何を測るか:生物学・化学・物理学の大学院レベルの科学的推論を問う問題集です。専門家でも正答率が高くないよう設計されています。

Astraは96.0%で最高値を更新しました。注目すべきは低コスト設定でも94.9%を記録し、GPT-5.6 Solの最高スコア94.6%を上回りながらAPI費用が約37%低いという点です。

Terminal-Bench Science 0.1:64.6%

何を測るか:これは知識を問うテストではありません。エージェントがコードとターミナルを使って、実際に科学研究のワークフローを完遂できるかを測ります。データ分析、シミュレーションの実行、モデルのフィッティングといった作業が含まれます。

GPT-6 Astra64.6%
Claude Fable 5.152.6%
GPT-5.6 Sol(最高設定)22.4%

OpenAIは、Fable 5.1に対して推定API費用が約31%低い状態でこのスコアだとしています。低コスト設定でも61.1%で、Solの最高値22.4%を大きく上回ります。

ベンチマーク② コンピュータ操作

OpenAIが今回いちばん力を入れて訴求しているのがこの領域です。

Agents’ Last Exam:59.3%

何を測るか実際のソフトウェアを操作して、専門的な業務タスクをこなせるかを測ります。財務モデリング、エンジニアリング、メディア制作といった、現実の仕事に近い課題が対象です。

GPT-6 Astra59.3%
Claude Opus 555.5%
GPT-5.6 Sol53.6%

スコア差は3.8ポイントですが、同時に出力トークンをOpus 5より約65%少なく抑えていると説明されています。精度とコストの両方で優位に立つ、という主張です。

OSWorld 2.0:72.6%(所要時間が約47%短縮)

何を測るか実際のOS環境でGUIを操作してタスクを完了できるかを測るベンチマークです。ファイル操作、アプリケーションの操作、設定変更などが含まれます。

ここでの主張はスコアだけではありません。

モデル スコア 1タスクあたり所要時間
GPT-6 Astra72.6%約40分
GPT-5.6 Sol65.7%約75分

精度を上げながら所要時間を約47%短縮しています。エージェントを長時間動かす用途では、この差が実運用のコストに直結します。

Mind2Web:1.9倍高速

何を測るか:Web上での操作タスクを扱うベンチマークです。OpenAIはAstraと同時にCodexハーネス側も更新しており、両者を合わせてGPT-5.6 Solの体験と比べてタスク完了が1.9倍速いとしています。

ベンチマーク③ コーディング

Terminal-Bench 4.0:57.9%

何を測るか:ターミナル上の複雑なタスク——ソフトウェア開発、システム設定、データ分析——をエージェントが完遂できるかを測ります。

モデル スコア 推定API費用
GPT-6 Astra57.9%
Claude Fable 5.155.8%Astraが約63%安い
GPT-5.6 Sol37.3%Astraが約9%安い
Fable 5.1との差は2.1ポイント

コーディングの中核指標であるTerminal-Bench 4.0では、Astra 57.9%に対しFable 5.1が55.8%と僅差です。ここは「圧勝」ではありません。

なおFable 5.1側の55.8%という数字は、Anthropicが自社で公表した値と一致しています。両社が同じ数字を示している点は、この比較の信頼性を高めます。

差が大きいのはコスト側で、OpenAIは同じタスクを約63%安く処理できると主張しています。

BenchCAD:95.9%

何を測るか複数視点のレンダリング画像から3Dオブジェクトを復元し、CADコードを生成できるかを測ります。画像理解と幾何的な推論、コード生成を同時に要求する難度の高い課題です。

GPT-6 Astra(ツールあり)95.9%
Claude Fable 5.184.3%
GPT-5.6 Sol83.3%

API費用はSolより約43%、Fable 5.1より約86%低いとされています。

ベンチマーク④ サイバーセキュリティ(最も注意して読むべき部分)

この節の数値は「本番のセーフガードを外した状態」です

以下のスコアは、実際の製品に適用されている安全対策を無効にしたテスト条件で測定されています。OpenAI自身がその旨を明記しています。

一般ユーザーが使うAstraがこの通りに動くわけではありません。あくまで「モデルの素の能力がどこまであるか」を測った数字です。

ExploitBench:100%(満点)

何を測るか既知の脆弱性から、実際に動くエクスプロイトを開発できるかを測ります。

GPT-6 Astra100%
GPT-5.6 Sol78.5%

満点であり、このベンチマークも飽和しました。

ExploitGym:42.4%

同じくエクスプロイト開発の能力を測る指標で、Solの30.3%に対しAstraは42.4%。出力トークン数は大幅に少ないとされています。

ExploitBench(2026年6〜8月版):ゼロデイを2件発見

なぜ作られたか:既存のExploitBenchは公開済みの古い脆弱性を扱うため、学習データに答えが混入している疑いがあります。そこでOpenAIは、直近3か月(2026年6〜8月)に公開された深刻度の高いV8の脆弱性20件で内製ベンチマークを構築しました。

ここでの結果が今回いちばん重い数字です。

評価中に、未知のゼロデイ脆弱性を2件発見して実際に使用

Astraはこの評価の最中に、それまで知られていなかったゼロデイ脆弱性を2件発見し、エクスプロイトチェーンの一部として実際に利用しました。OpenAIは現在、この2件をメンテナーへ開示する手続きを進めているとしています。

これは「ベンチマークで高得点を取った」という話ではなく、評価作業そのものが新しい脆弱性の発見になったということです。

SRE-Bench:1回で88.0%、4回以内で99.2%

何を測るかソースコードなしでバイナリをリバースエンジニアリングし、中核のロジックを理解できるかを測ります。

モデル 1回で成功 4回以内で成功
GPT-6 Astra88.0%99.2%
GPT-5.6 Sol55.9%68.7%

専門家主導の評価では、セーフガードなしのAstraが堅牢化されたブラウザで未知の脆弱性を使って任意コード実行を達成し、堅牢化されたOSで権限昇格チェーンを構築したことも報告されています。

結果としてPreparedness Frameworkの「重大」に指定

これらを総合し、OpenAIはAstraが同社のPreparedness Frameworkにおけるサイバーセキュリティ能力の「重大(Critical)」しきい値を満たすと判断しました。このレベルに指定された初のモデルです。

「重大」の定義は次のいずれかを満たすことです。

  • 人間の介入なしに、堅牢化された多数の重要システムで、あらゆる深刻度の実用的なゼロデイ・エクスプロイトを特定・開発できる
  • 大まかな目標だけを与えられた状態で、堅牢化された標的への攻撃戦略をエンドツーエンドで考案・実行できる
一般提供版では高度なサイバー機能は制限されます

リリース版のAstraはセキュアなコードレビューやパッチ適用には使えますが、概念実証エクスプロイトの作成といった高度な要求は拒否します。

より制限の緩い環境は、当初は少数のアルファテスター、その後OpenAI Daybreak経由で防御目的の利用者へ拡大される予定です。

ベンチマーク⑤ アラインメント(今回の隠れた主役)

OpenAIは今回、能力と同じ比重でアラインメント(意図に沿って動くか)の数字を出しています。背景には、8月に起きたHugging Faceのインシデントがあります。

範囲逸脱テスト:48% → 0%

何を測るか:Hugging Faceのインシデントを踏まえて新設された評価で、難しい、あるいは解けないタスクに直面したモデルが、与えられた範囲を超えて行動しようとするかを測ります。

48%

GPT-5.6 Sol
(許可範囲を超えた割合)

0%

GPT-6 Astra
(同)

ハニーポットテスト:56% → 0回

何を測るか:ExploitGymの最難関タスクを使い、モデルが与えられた課題を解く代わりに、周辺のセキュリティインフラを侵害して近道しようとするかを調べます。

セーフガードなしのGPT-5.6 Solは56%のケースでその標的へアクセスを試みましたが、Astraは一度も試みませんでした

サイバージェイルブレイク拒否率:91.5%

許可されていないサイバー支援の要求を拒否した割合です。Astra 91.5%に対し、GPT-5.6 Solは59%

自動レビュー回避:0回

自動レビューに拒否されたあと、モデルが設定の不備を突いてレビューそのものを回避しようとするかを見る評価です。Astraは一度も回避を試みませんでした。

数字をどう受け止めるべきか

3つの留意点

① すべてOpenAI自身の測定値です。第三者による独立検証ではありません。比較対象となったAnthropicやGoogleのモデルについても、OpenAI側の測定条件で回した結果です。

② 「飽和」は限界も意味します。FrontierMath Tier 4・ARC-AGI-3・ExploitBenchが飽和したということは、これらの指標ではもう次の進歩を測れないということでもあります。数字の伸びしろが尽きた領域と、まだ差がつく領域を分けて見る必要があります。

③ コーディングでは僅差です。Terminal-Bench 4.0はAstra 57.9%対Fable 5.1 55.8%。「圧倒的」なのはコスト効率であって、精度ではありません。

それでも見るべきポイント

今回の発表で最も実務に効くのは、精度とコスト・時間を同時に改善しているという点です。

  • OSWorld 2.0:精度を上げつつ所要時間を約47%短縮
  • Agents’ Last Exam:Opus 5より高スコアで出力トークン約65%減
  • Terminal-Bench 4.0:Fable 5.1を上回りつつAPI費用約63%減

エージェントを長時間動かす用途では、この効率差が精度差より大きく効きます。

よくある質問

Q. いつから使えますか

2026年9月3日のリリース時点では、Trusted Access Programの企業向けに提供が始まっています。数日以内にChatGPTのPlus・Pro・Business・Enterprise、OpenAI API、AWSへ拡大する予定とされています。

Q. Claude Fable 5.1とどちらが強いですか

ベンチマークによります。OpenAIの公表値では、科学ワークフロー(64.6%対52.6%)とCAD(95.9%対84.3%)で明確に上回る一方、コーディングのTerminal-Bench 4.0は57.9%対55.8%と僅差です。ただしいずれもOpenAI側の測定です。Fable 5.1の詳細は別記事にまとめています。

Q. サイバーセキュリティの高スコアは危険ではないですか

OpenAI自身が「重大」しきい値に達したと認め、リリースの一部を延期して安全対策を強化しています。一般提供版は概念実証エクスプロイトの作成などを拒否します。ただし副作用として、正当な作業が誤検知で遅延・停止する可能性があるとも明記されています。

Q. 正当な作業が止められることがあるのですか

あります。OpenAIは「サイバーセキュリティと直接関係なく見える作業や、エージェントが長時間動作するタスクでも、誤検知により遅延・一時停止・停止することがある」と説明しています。ChatGPTやCodexでは続行前に確認を求められ、APIなど他のインターフェースではタスクが停止します。

Q. 105万トークンをフルに使えますか

使えますが、272Kトークンを超えると全体が入力・キャッシュ2倍、出力1.5倍で課金されます。長大なコンテキストは技術的には可能でも、コスト面では慎重な設計が必要です。

まとめ

この記事の要点
  • 2026年9月3日リリース。モデルIDは gpt-6-astra、コンテキスト105万トークン
  • 3つのベンチマークを飽和:FrontierMath Tier 4(98%)、ARC-AGI-3(99.9%)、ExploitBench(100%)
  • 科学ワークフローは64.6%対52.6%でFable 5.1に明確な差
  • コンピュータ操作は精度を上げつつ所要時間を約47%短縮
  • コーディングは57.9%対55.8%と僅差。差が大きいのはコスト側(約63%減)
  • サイバーセキュリティでPreparedness Frameworkの「重大」に指定された初のモデル。評価中にゼロデイを2件発見
  • アラインメントも大幅改善。範囲逸脱48%→0%、ハニーポット56%→0回
  • すべてOpenAI自身の測定値であり、第三者検証ではない

数字を追うときに大事なのは、そのベンチマークが何を測っているかを先に確認することです。「FrontierMathで98%」は数学の研究レベルの問題を解けるという意味であって、日常のコーディングが速くなるという意味ではありません。用途に近い指標だけを見れば、判断はずっと簡単になります。

タイトルとURLをコピーしました