2025年後半から2026年初頭にかけて、大規模言語モデルは「1兆パラメータ」の壁を明確に超えた。MoE（Mixture of Experts）アーキテクチャの普及により、総パラメータ数が1兆を超えるモデルはもはや珍しくなく、米中の主要企業が3兆〜10兆規模のモデルを開発・運用している。しかし重要なのは、総パラメータ数の大きさではなく、推論時に実際に使われる「アクティブパラメータ数」がわずか数十〜数百億に過ぎないという事実である。パラメータ数のインフレーションは確実に進行しているが、その実態はMoEによる「見かけ上の巨大化」であり、単純な数字比較は誤解を招く。本レポートでは、確認された事実と推測を明確に区別しながら、1兆パラメータ級LLMの現状と展望を包括的に分析する。
1. 1兆パラメータ級LLMの開発状況：確認済みモデル一覧
米国・西側企業の主要モデル
OpenAIのGPT-4は、複数のリーク情報によれば総パラメータ数約1.8兆（16個のエキスパート×約111B、推論時アクティブ約280B）のMoEモデルとされる。この数字はSemiAnalysisによる分析で広く引用されているが、OpenAIは公式に確認していない。2025年2月発表のGPT-4.5（「Orion」）は「当社史上最大のモデル」と説明され、外部推定では4兆〜7兆パラメータとされるが確認不可能である。2025年8月のGPT-5は推定2兆〜5兆で、推論（o系列）と生成（GPT系列）を統合した階層的ルーティングアーキテクチャを採用している。
2025年8月5日、OpenAIはgpt-oss-120bとgpt-oss-20bという2つのオープンウェイト推論モデルをApache 2.0ライセンスで公開した。モデル名は概算表記であり、実際の総パラメータ数は**gpt-oss-120bが117B（アクティブ5.1B）、gpt-oss-20bが21B（アクティブ3.6B）**で、いずれもMoEアーキテクチャを採用している。これはOpenAIにとってGPT-2（2019年）以来初のオープンウェイト言語モデルである。なお、Sam AltmanはこのGPT-OSSリリースの6ヶ月前となる2025年1月31日のReddit AMAで「私個人としては、我々はオープンソースに関して歴史の誤った側にいたと思う。異なるオープンソース戦略を考え出す必要がある」と発言しており、これはDeepSeekショック直後の発言であった。
MetaのLlama 4 Behemothは総パラメータ約2兆、アクティブ288B（16エキスパート）というスペックがMeta自身から公式に確認されている。これはGPT-4.5やClaude Sonnet 3.7をSTEMベンチマークで上回ると発表されたが、2025年4月時点でまだ訓練中であり、その後ベンチマーク未達によりリリースが無期限延期されたとWSJが報じている。2026年初頭時点でもBehemothの一般公開は実現していない。一方、実際にリリースされたLlama 4 Scout（109B総/17Bアクティブ、16エキスパート）とLlama 4 Maverick（約400B総/17Bアクティブ、128エキスパート）はオープンウェイトで公開されているが、LMArenaベンチマーク操作問題（特別調整版モデルの使用）が物議を醸した。
xAIのGrok-3（2025年2月）はElon Muskが「Grok-2比で10倍のコンピューティング」で訓練したと述べており、lifearchitect.aiなどの分析によれば約3兆パラメータのMoEとされる。2025年7月のGrok-4は複数の独立した分析によれば約1.7兆パラメータであり、Grok-3より小さい可能性がある（Colossusの200,000基のGPUで訓練）。2025年11月のGrok-4.1（現在の本番モデル）は約3兆パラメータと推定されており、Grok 4の性能を維持しつつ推論・ハルシネーション削減を改善した。訓練中のGrok-5は6兆パラメータとMusk自身が2025年11月のインタビューで確認している。さらに2026年4月、Muskはコロッサス2（Colossus 2）で7つのモデルを同時訓練中と発表し、その中に10兆パラメータのモデルが含まれることを明かし「追いつく必要がある」とコメントした。xAIはパラメータ数を公式発表していないため、Grok-3/4以降の数値はすべて外部推定である。
Anthropicはパラメータ数を一切公式開示していない。しかし、Muskの発言（「現在のGrokはSonnetの半分、Opusの10分の1のパラメータ数」）から逆算すると、Claude Sonnetが約1兆、Claude Opusが約5兆パラメータと推定される。一部のメディアは「Claude Mythos（コードネームGlasswing）が約10兆パラメータ」と報じているが、これはAnthropicが未確認の完全な推測情報であり、信頼性は低い。
Google/DeepMindのGeminiシリーズもパラメータ数は非公開だが、Gemini 1.5以降MoEアーキテクチャの使用は公式に確認されている。2025年11月プレビューのGemini 3はReutersの報道などに基づき約1.2兆パラメータ以上（推論時アクティブ15B〜30B）と推定される。
Mistral AIのMistral Large 3（2025年12月2日）は675B総/41Bアクティブの粒度の細かいMoEアーキテクチャで、Apache 2.0ライセンスの完全オープンソースとして公開された。ネイティブマルチモーダル（テキスト＋画像）対応、256Kコンテキスト対応で、3000基のH200 GPUで訓練された。なお、エキスパート数は公式ソースからは確認できていない。
中国企業の主要モデル
中国勢は2025年に急速に1兆パラメータ規模に到達した。DeepSeek-V3（2024年12月）は671B総/37Bアクティブ（256エキスパート、8個をルーティング）で、訓練コストがわずか約560万ドル（H800 GPU時間278.8万時間、ただしSemiAnalysisはハードウェア総投資を5億ドル以上と推定）という驚異的な効率を実現した。MITライセンスでオープンソース公開され、2025年1月の「DeepSeekショック」を引き起こした。
Moonshot AI（月之暗面）のKimi K2（2025年7月）は1.04兆パラメータ総/32Bアクティブ（384エキスパート、8個をルーティング）で、15.5兆トークンで訓練されたMuonClipオプティマイザによる安定訓練が特徴である。修正MITライセンスで公開されている（商業利用に一定の条件あり）。さらにKimi K2.5（2026年1月）は同アーキテクチャをベースにしたネイティブマルチモーダル版として公開されている。
AlibabaのQwen3-Max-Preview（2025年9月5日）は1兆パラメータ超のMoEモデルで、Qwenシリーズ初の1兆パラメータ突破。同年9月24日のApsaraカンファレンスで正式版Qwen3-Maxとして発表された。オープンソース路線から逸脱しAPI限定の非公開モデルとなり、LMArenaテキストリーダーボードで3位にランクし、GPT-5-Chatを上回った。
BaiduのERNIE 5.0（2025年11月プレビュー、2026年1月22日正式リリース）は2.4兆パラメータで推論時アクティブ率3%未満（約72B以下）とされる。テキスト・画像・音声・動画を統合したネイティブオムニモーダルMoEアーキテクチャを採用し、LMArenaで中国モデル1位（全体8位）を達成した。
HuaweiのPanGu-Σ（2023年4月）は1.085兆パラメータのスパースMoEとして、中国で最初に1兆の壁を突破した研究モデルである。512基のAscend 910 NPUで訓練されたが、広く公開はされていない。
Zhipu AI（Z.ai）のGLM-5（2026年2月11日）は約744〜745B総/44Bアクティブ（256エキスパート、8個をルーティング）で、Huawei Ascend 910B約10万基のみで訓練された完全国産フロンティアモデルである。NVIDIA依存ゼロの訓練に成功した点が地政学的に重要であり、SWE-bench Verified 77.8%を達成している。2026年4月7日、GLM-5.1（ポストトレーニング改善版）のオープンウェイトがMITライセンスで正式公開された。
主要1兆パラメータ（近辺）モデル比較表
| 企業 | モデル名 | 総パラメータ | アクティブ | 公開時期 | 公開状況 | 確度 |
|---|---|---|---|---|---|---|
| OpenAI | GPT-4 | ~1.8T | ~280B | 2023年3月 | クローズド | リーク（未確認） |
| OpenAI | GPT-4.5 | ~4-7T推定 | ~600B推定 | 2025年2月 | クローズド | 推定のみ |
| OpenAI | GPT-5 | ~2-5T推定 | 不明 | 2025年8月 | クローズド | 推定のみ |
| OpenAI | GPT-OSS-120b | 117B | 5.1B | 2025年8月 | Apache 2.0 | 公式確認 |
| Meta | Llama 4 Maverick | 400B | 17B | 2025年4月 | オープンウェイト | 公式確認 |
| Meta | Llama 4 Behemoth | ~2T | 288B | 未リリース | オープン予定 | 公式確認（未リリース） |
| xAI | Grok-3 | ~3T | 300B推定 | 2025年2月 | クローズド | マスク発言（外部推定） |
| xAI | Grok-4 | ~1.7T | ~170B推定 | 2025年7月 | クローズド | 外部推定 |
| xAI | Grok-4.1 | ~3T | ~300B推定 | 2025年11月 | クローズド | 外部推定 |
| xAI | Grok-5 | ~6T | 不明 | 訓練中 | クローズド | マスク確認 |
| xAI | （新モデル） | ~10T | 不明 | 訓練中 | 未定 | マスク発言（2026年4月） |
| Anthropic | Claude Opus（現行） | ~5T推定 | 不明 | 2025-2026 | クローズド | マスク発言から逆算 |
| Anthropic | Claude Mythos | ~10T（噂） | 不明 | 2026年4月（限定） | クローズド | 未確認リーク |
| Gemini 3 | ~1.2T+推定 | 15-30B推定 | 2025年11月 | クローズド | Reuters報道 | |
| Mistral | Mistral Large 3 | 675B | 41B | 2025年12月 | Apache 2.0 | 公式確認 |
| DeepSeek | V3 | 671B | 37B | 2024年12月 | MIT | 公式確認 |
| Moonshot | Kimi K2 | 1.04T | 32B | 2025年7月 | 修正MIT | 公式確認 |
| Alibaba | Qwen3-Max | >1T | 非公開 | 2025年9月 | クローズド | 公式確認 |
| Baidu | ERNIE 5.0 | 2.4T | <72B | 2026年1月 | クローズド | 公式確認 |
| Huawei | PanGu-Σ | 1.085T | 可変 | 2023年4月 | 非公開 | 論文確認 |
| Zhipu AI | GLM-5 | ~745B | ~44B | 2026年2月 | MIT（確定） | 公式確認 |
2. 今後の開発計画と巨大インフラ投資
「計算資源の軍拡競争」としてのインフラ投資
1兆パラメータ級モデルの訓練を支えるインフラ投資は、もはや国家予算規模に達している。2026年の主要4社（Amazon、Alphabet、Meta、Microsoft）の設備投資合計は6,300億〜7,000億ドルと予測されており、これはスウェーデンのGDPに匹敵する。
Stargateプロジェクト（OpenAI/SoftBank/Oracle）は4年間で最大5,000億ドルの投資規模で、2025年1月にトランプ大統領とともに発表された。テキサス州アビリーンのフラグシップキャンパスが2025年半ばに稼働開始し、現在までに米国7拠点、UAE、ノルウェー、アルゼンチンにも国際展開している。
xAI Colossusはメンフィスの旧家電工場を122日間で改修した世界最大級のAIスパコンで、現在H100×15万基以上、H200×5万基、GB200×3万基を運用中。Colossus 2（第2棟）に追加GPUを導入し拡大中。最終目標は100万GPUで、ハードウェア投資額は約180億ドルに達する。2026年4月時点で合計7モデルが同時訓練中とMuskが発表している。
Metaは2025年だけで130万基以上のGPUを購入し、2026年の設備投資を1,150億〜1,350億ドルに引き上げた。
Googleは独自のTPU v7（Ironwood）を2025年後半に商用化した。SuperPod（9,216チップ）で42.5 ExaFLOPSを実現し、AnthropicがGoogleと最大100万TPUの契約を締結したことは、クラウドTPUの規模感を示す象徴的な出来事である。
3. オープンモデル vs クローズドモデルの趨勢
オープンの最前線が急速に拡大
2025年の最も重要な動向の一つは、オープンモデルの規模が1兆パラメータに到達したことである。Moonshot AIのKimi K2（1T総パラメータ、修正MIT）は、オープンの1兆パラメータモデルが現実となったことを示した。DeepSeek-V3（671B、MIT）、GLM-5（745B、MIT確定）、Mistral Large 3（675B、Apache 2.0）もオープンで公開されている。
一方、フロンティア性能の最上位は依然としてクローズドモデルが占めている。GPT-5、Claude Opus 4、Gemini 3はいずれも非公開であり、パラメータ数すら開示されていない。OpenAIはGPT-1からGPT-3まではパラメータ数を公開していたが、GPT-4以降は完全に非公開としており、この傾向は業界全体に広がった。
Metaのオープン戦略の転換
注目すべきはMetaのオープン戦略からの後退である。Llamaモデルは累計10億回以上ダウンロードされ、オープンAIの旗手として位置づけられていた。しかし、Llama 4 Behemothがベンチマーク未達でリリース延期となり、DeepSeek R1がLlamaのアーキテクチャを活用して競合製品を構築したことで商業的リスクが顕在化した。Llama開発チームでは複数のキーメンバーが退職するなど組織的にも変動が起きており、2026年4月にはMetaがLlamaに代わるMuse Sparkをリリースしたとも報じられている。
DeepSeekがもたらした「オープンの逆襲」
DeepSeek R1の衝撃を受け、Sam AltmanはDeepSeekショック直後の2025年1月31日のReddit AMAで「私個人としては、我々はオープンソースに関して歴史の誤った側にいたと思う」と発言した。その後約6ヶ月を経た2025年8月5日、OpenAIはGPT-OSS（117B/21B、Apache 2.0）をリリースし、これはGPT-2（2019年）以来初のオープンウェイト言語モデルとなった。
「オープンウェイト」と「真のオープンソース」の区別
重要な区別として、MetaのLlamaは「オープンウェイト」であり、OSI定義の「オープンソース」ではない。Llama Community Licenseは月間アクティブユーザー7億人超の企業に制限を課しており、EUでの利用も制限されていた。対照的に、DeepSeek（MIT）、OpenAI GPT-OSS（Apache 2.0）、Mistral Large 3（Apache 2.0）、GLM-5（MIT）は真にオープンなライセンスを採用している。
4. 米中AI覇権競争と地政学的分析
「3〜6カ月の差」に縮まった米中格差
ホワイトハウスのAI担当David Sacksが「中国は米国に3〜6カ月遅れている」と評したように、フロンティアモデルの性能差は年単位から月単位に縮小した。2025年10月時点で、OpenCompassの上位20モデル中14モデルが中国製であり、ただしトップ数モデルは依然として米国勢が占めている。
投資規模では米国が圧倒的に優位で、2024年の民間AI投資は米国1,091億ドルに対し中国は約93億ドルと約12倍の差がある。しかし中国政府は国家レベルの投資を積極的に展開しており、中国銀行が5年間で1兆元（1,380億ドル）のAI融資を発表、2025年3月には1兆元の国家イノベーション投資誘導基金が設立された。
DeepSeekショック：「AIのスプートニク」
2025年1月20日のDeepSeek R1公開は、米国テック株の約1兆ドルの時価総額喪失を引き起こし、「AIのスプートニク・モーメント」と呼ばれた。R1はOpenAIのo1に匹敵する推論性能を、わずか2,048基のH800 GPUで達成した。DeepSeekが公表した訓練計算コスト560万ドル（SemiAnalysisはハードウェア総投資を5億ドル以上と推定）は、効率性で米国を凌駕しうることを世界に示した。
GPU輸出規制の実効性と限界
米国のAIチップ輸出規制は段階的に強化されてきた。2022年10月のA100/H100輸出禁止に始まり、2023年10月にはH800も規制対象に追加、2025年1月にはバイデン政権最後の「AI拡散ルール」で世界を3層に分類した。しかしトランプ政権は2025年7月にH20の中国向け販売を条件付きで再承認（売上の15%を米国政府に上納）し、さらにH200も25%課税で輸出を許可するなど、政策は揺れ動いている。
最大の地政学的事件はGLM-5の登場である。Zhipu AIは2025年1月に米国エンティティリストに掲載されNVIDIA製品への法的アクセスを失ったにもかかわらず、Huawei Ascend 910B約10万基のみでフロンティアモデルを構築した。これは輸出規制の長期的有効性に根本的な疑問を投げかける事実である。
EU・日本・その他地域の位置づけ
EUは2024年にEU AI Actを採択し、2025年8月から汎用AI（GPAI）に関する義務が発効した。フランスは2025年2月のAIアクションサミットで1,090億ユーロのAIインフラ投資を発表し、Mistral AIが欧州AIチャンピオンとして評価額117億ユーロに成長した。
日本は2030年までに**10兆円（約650億ドル）**のAI・半導体投資を宣言した。SoftBankが大規模なAIスパコンを建設中で、日本政府は独自主権AIの構築を米国との連携のもとで推進している。
中東は最も急成長している地域で、サウジアラビアのHUMAINが770億ドルのインフラ戦略を掲げ、UAEは米国外最大の5GW AIキャンパスを計画している。
5. 各企業の戦略的方向性とスケーリング則の現状
スケーリング則：「壁」ではなく「方向転換」
業界のコンセンサスは、事前学習のスケーリングは飽和しつつあるが、推論時計算、強化学習、合成データ、アーキテクチャ革新が新たな能力曲線を開いているというものである。特に**推論時計算スケーリング（テストタイムコンピュート）**が2024〜2025年の支配的パラダイムとなった。OpenAIのo1/o3、DeepSeek R1、Google Gemini Flash Thinkingなど、主要モデルがこのアプローチを実装している。
MoEが標準アーキテクチャとなった理由
NVIDIAによれば、2025年のオープンソースAIモデルリリースの60%以上がMoEアーキテクチャを採用している。活性化率は急速に低下しており、Kimi K2は1.04Tのうち32B（3.1%）のみを活性化し、Llama 4 Maverickは400Bのうち17B（4.3%）、DeepSeek-V3は671Bのうち37B（5.5%）である。これは総パラメータ数のインフレーションが実質的な計算量の増大をほとんど伴わないことを意味する。
6. 2025〜2028年の展望予測
パラメータ数競争は「見かけ上」続くが本質は変化
MoEの普及により、総パラメータ数が数兆〜10兆に達するモデルは2026年以降も増加すると予測される。Muskの10T発表（2026年4月）はその象徴である。しかし、アクティブパラメータ数はdenseモデルの400B〜1T付近で実質的に飽和しつつある。
クローズド化が加速するターニングポイント
現在進行中のいくつかの動向が、2026〜2027年にかけてフロンティアモデルのクローズド化を加速させる可能性が高い。しかし完全なクローズド化は起きないと予測される。DeepSeekの成功が証明したように、オープンモデルはクローズドモデルの6〜12カ月遅れで性能に追いつくパターンが確立されている。フロンティアはクローズドが先行し、実用的なデプロイメントの大多数はオープンモデルが担うという二層構造が定着するだろう。
予測される構図：2028年のAI世界
- 米国：3〜5社（OpenAI、Google、Anthropic、xAI、Meta）が10兆パラメータ超のクローズドモデルを運用。推論コスト最適化が主戦場に移行
- 中国：国産チップによる完全自律的な訓練能力を確立。DeepSeek、Alibaba、Baidu、Zhipu AIが米国フロンティアに3〜6カ月遅れで追随
- オープンモデル：MoE構成で数兆パラメータのモデルが複数存在し、ほとんどのエンタープライズ用途を満たす
- アーキテクチャ：MoEが完全に標準化され、推論時計算スケーリングとRL強化学習が性能向上の主軸
- インフラ：単一モデルの訓練に数GWのデータセンターを要する時代。計算資源が石油に匹敵する戦略的資産に
結論：数字の裏にある真の競争
1兆パラメータという数字は、もはやそれ自体では技術的優位を示さない。MoEの普及により、総パラメータ数は「知識容量」の指標にすぎず、モデルの知性はアクティブパラメータ数、訓練データの質と量、推論時計算戦略の組み合わせで決まる。DeepSeek-V3が671Bで数兆パラメータのモデルに匹敵する性能を示したことは、この事実を雄弁に物語っている。
最大の地政学的示唆はGLM-5の登場である。NVIDIA製品への法的アクセスを断たれた企業が、国産チップのみでフロンティアモデルを構築したという事実は、輸出規制政策の根本的な問い直しを迫る。今後2〜3年の最重要テーマは、パラメータ数の拡大ではなく、推論効率の劇的改善、データ枯渇への対応、そしてAIインフラの国家戦略資産化である。超大規模モデルの開発競争は、純粋な技術競争から、エネルギー政策・半導体政策・外交政策が交差する総合的な地政学的ゲームへと変貌している。
0 件のコメント:
コメントを投稿