2024年から2026年にかけて、大規模言語モデル(LLM)の内部構造は静かに、しかし決定的に姿を変えました。それまで主流だった「Dense(密)」構成――すべてのパラメータが毎回のトークン処理で活性化する標準的なTransformer――に代わって、「MoE(Mixture of Experts、専門家混合)」構成を採用するモデルが急速に増えているのです。Red Hatの調査では2025年に公開されたオープンソースAIモデルの60%超がMoEを採用したと報告されており、AI性能を横断的に評価するArtificial Analysisのリーダーボードでも、知能指数上位16モデルのうち12モデルがMoE構成だとする分析があります。DeepSeek、Meta、Alibaba、Mistral、Moonshot、OpenAIといった主要プレイヤーが軒並みMoEへ舵を切った背景には、単なる流行ではない明確な工学的理由があります。
この構成の違いは、ベンチマークスコアの上でしか意味を持たない話ではありません。同じ「◯◯Bパラメータ」というラベルのモデルでも、Denseなのか、それとも活性化がわずか数%のMoEなのかによって、必要なGPUメモリ、推論コスト、レイテンシの予測可能性はまったく異なります。オンプレミス環境の構築を検討する立場や、モデル選定・調達の判断を下す立場にとって、「総パラメータ数」と「アクティブパラメータ数」を区別できるかどうかは、そのままインフラ設計の精度に直結します。
結論を先に述べると、DenseからMoEへの移行は「計算量(FLOPs)を総パラメータ数から切り離す」という一点に集約されます。DeepSeek-V3が確立した「MLA(Attention効率化)+補助損失フリーのルーティング+共有エキスパート」という設計は、その後のLlama 4・Qwen3・Kimi K2・Mistral Large 3にほぼそのまま踏襲され、事実上の業界標準になりました。一方でMoEには「全エキスパートをメモリに載せておく必要がある」という見落とされがちな制約があり、Denseにも依然として明確な居場所があります。さらにState Space Model(Mamba)とTransformerを組み合わせるハイブリッド構成も模索されていますが、日本発の実例からは、この技術がまだ発展途上であることを示す興味深い教訓も得られています。本記事では、これらの構成パターンを一次情報に基づいて整理します。
1. Dense(密)アーキテクチャ:標準の姿
Denseは、GPT-3以来長く標準とされてきた構成です。デコーダのみのTransformerブロック(マルチヘッド自己注意+フィードフォワードネットワーク)を数十層積み重ね、入力されたすべてのトークンに対して、モデルが持つ全パラメータが等しく計算に関与します。ルーティングや条件分岐は一切なく、「大きくすればするほど、計算コストもそのまま増える」という単純明快な関係が成り立ちます。
この単純さこそがDenseの最大の強みです。実装・学習が安定しており、推論レイテンシが予測しやすく、ルーティングに起因する不確実性がありません。MetaのLlamaシリーズは、7Bから始まりLlama 3.1(405B)に至るまで一貫してDense構成を採用してきました(後述するLlama 4で初めてMoEへ転換します)。Mistral AIのMistral Large 2(123B、2024年7月24日発表)も、単一ノードでの高スループット推論を狙ってあえて123Bという規模に抑えたDenseモデルで、128Kトークンの文脈長と80以上のプログラミング言語対応を特徴としていました。
日本国内では、理化学研究所のスーパーコンピュータ「富岳」を用いて学習されたFugaku-LLM(13B、2024年5月公開)がDense構成の代表例です。東京工業大学・東北大学・富士通・理化学研究所・名古屋大学・サイバーエージェント・Kotoba Technologiesが共同開発したこのモデルは、深層学習フレームワーク「Megatron-DeepSpeed」を富岳向けに移植することで演算速度を既存比6倍、通信速度を3倍に高速化し、GPUではなく富岳の富士通製CPUを用いて現実的な時間内での学習を実現した点が特徴です。約3,800億トークン(うち約6割が日本語)で学習されています。
Denseの弱点は、スケールに伴って計算コストが総パラメータ数に比例して増大する点です。1兆パラメータ級のDenseモデルを学習・運用しようとすれば、その計算コストは現実的な範囲を超えてしまいます。ここに、次に説明するMoEが台頭してきた理由があります。
2. MoE(Mixture of Experts)アーキテクチャ:仕組みと代表モデル
MoEの基本的な発想は、Transformer各層のフィードフォワードネットワーク部分を、複数の「エキスパート」と呼ばれる小さなネットワークの集合に置き換えることです。トークンが層を通過するたびに、「ルーター」と呼ばれる小さなゲーティング機構がそのトークンに最も適したエキスパートを数個選び出し、選ばれたエキスパートだけが計算を行います。これにより、モデル全体としては巨大な知識容量(総パラメータ数)を持ちながら、実際に1トークンあたり計算に関与するパラメータ数(アクティブパラメータ数)は総数のごく一部に抑えられます。
オープンなMoEモデルとしてこの手法の実用性を最初に広く示したのは、2023年12月にMistral AIが公開したMixtral 8x7B(総46.7B/アクティブ12.9B、8エキスパート中top-2を選択)でした。その後、この設計思想を大きく発展させ、現在の「標準テンプレート」を確立したのが、2024年12月に公開されたDeepSeekのDeepSeek-V3です。同社の技術レポートによれば、DeepSeek-V3は671Bの総パラメータのうち、1トークンあたり37Bのみを活性化する構成で、Multi-head Latent Attention(MLA、詳細は次章)と、負荷分散のための補助損失を使わない新しいルーティング手法(後述)を採用しています。学習は14.8兆トークンで行われ、必要とされたGPU時間はわずか278.8万H800 GPU時間(1GPU時間あたり2ドルで換算すると約558万ドル)とされ、これは既存のフロンティアモデルの学習コストと比べて際立って低い数字でした。
DeepSeek-V3のルーティング設計における重要な工夫は、256個のルーテッドエキスパートに加えて1個の「共有エキスパート」を常時活性化させ、汎用的な知識をそこに担わせている点です。また、エキスパートへの負荷が偏らないよう調整する「負荷分散」の仕組みについても、従来主流だった補助損失(学習の主目的とは別に負荷分散のためだけに加える損失項)を使う方式ではなく、各エキスパートに割り当てた学習可能なバイアス項を、通常の勾配計算とは別枠で動的に調整する「補助損失フリー」戦略を採用しました。これにより、負荷分散のための調整が本来の学習目的(言語モデルとしての性能向上)を妨げにくくなるとされています。
この「MLA+共有エキスパート+補助損失フリー」というDeepSeek-V3のテンプレートは、その後多くのモデルに踏襲されました。ただし、すべてのMoEモデルが共有エキスパートを採用しているわけではない点には注意が必要です。たとえばOpenAIのgpt-ossシリーズやAlibabaのQwen3は共有エキスパートを持たず、選ばれたエキスパート全員に特化を委ねる設計を取っています。共有エキスパート方式はDeepSeek系やLlama 4系で採用される設計であり、MoE全体の必須要件ではありません。主要なMoEモデルの構成を整理すると、次のようになります。
| モデル | 開発元 | 総パラメータ/アクティブ | エキスパート構成 | 備考 |
|---|---|---|---|---|
| Mixtral 8x7B | Mistral AI | 46.7B/12.9B | 8個中top-2 | 2023年12月公開。オープンMoEの実用性を最初に広く示した |
| Grok-1 | xAI | 314B/86B | 8個中top-2、64層 | 2024年3月、Apache 2.0で重みを公開 |
| DeepSeek-V3 | DeepSeek | 671B/37B | 256個+共有1個中top-8 | MLA、補助損失フリー、FP8学習、Multi-Token Prediction |
| DeepSeek-R1 | DeepSeek | 671B/37B | V3と同一構成 | 2025年1月公開。強化学習による推論特化版 |
| Llama 4 Scout | Meta | 109B/17B | 16個中1個+共有1個 | 2025年4月。10Mトークンの長文脈、単一H100で稼働可能 |
| Llama 4 Maverick | Meta | 400B/17B | 128個中1個+共有1個 | denseとMoE層を交互配置。単一H100 DGXホストで稼働 |
| Qwen3-235B-A22B | Alibaba | 235B/22B | 128個中top-8 | 94層。thinking/non-thinkingモードを単一モデルに統合 |
| Qwen3-30B-A3B | Alibaba | 30.5B/3.3B | 128個中top-8 | 軽量MoE。10倍のアクティブパラメータを持つ他モデルに匹敵 |
| Kimi K2 | Moonshot AI | 1.04T/32B | 384個中top-8+共有1個、61層 | 2025年7月。DeepSeek-V3を踏襲しつつエキスパート数を256→384に増加 |
| gpt-oss-120b | OpenAI | 116.8B/5.1B | 128個中top-4、36層 | MXFP4量子化(4.25bit)で単一80GB GPUに収まる設計 |
| gpt-oss-20b | OpenAI | 20.9B/3.6B | 32個中top-4、24層 | 16GBメモリで動作可能 |
| Mistral Large 3 | Mistral AI | 675B/41B | granular MoE(詳細非公開) | 2025年12月。Apache 2.0、256K文脈、ネイティブマルチモーダル |
この表から読み取れる傾向として、①「総パラメータに対するアクティブパラメータの比率」が時代を追うごとに下がっていること(Mixtralの約28%からKimi K2の約3%へ)、②top-Kのkの値やエキスパート総数はモデルによってまちまちで、共有エキスパートの有無も設計思想の違いを反映していること、の2点が挙げられます。特にKimi K2は、スパース性(総エキスパート数と活性化数の比率)を高めるほど性能が向上するというスケーリング則の分析結果を根拠に、DeepSeek-V3の256個から384個へとエキスパート数を意図的に増やしています。
3. Dense vs MoE:何が変わるのか
MoEの最大のメリットは、同じ計算コスト(FLOPs)であればDenseより大きな知識容量を持てる、つまり「賢さ」と「計算コスト」を分離できる点にあります。Mixtral 8x7Bが70B級のDenseモデルに匹敵する性能を13B級の計算コストで実現したように、MoEは推論コストを大幅に下げながら品質を維持できます。大規模になるほどこの効果は顕著で、DeepSeek-V3が671Bという総パラメータ規模を持ちながら、既存の大規模モデルと比べて際立って低い学習コストで仕上がったことは、その象徴的な例といえます。
一方で、MoEには見落とされがちな重大な制約があります。それは「推論時にはすべてのエキスパートをGPUメモリ上に載せておく必要がある」という点です。ルーターがどのエキスパートを選ぶかはトークンごとに動的に決まるため、事前にどのエキスパートが不要かを予測してメモリから外しておくことができません。つまり、Mistral Large 3のように総パラメータ675B・アクティブパラメータ41Bというモデルであっても、必要なVRAM容量は675B相当のままです。計算コストはアクティブパラメータに比例して小さくなる一方、メモリコストは総パラメータのまま高止まりする――これがMoEを扱う上での最大の落とし穴です。
これに加えて、MoEは学習が不安定になりやすく(特定のエキスパートに負荷が偏る「ルーティング崩壊」のリスク)、分散推論のエンジニアリングも複雑になります。実際、Metaが公開を予告しながら難航したとされる2兆パラメータ級の「Llama 4 Behemoth」は、この種の課題を象徴する事例として報道でたびたび言及されています。Dense構成には、実装・学習の単純さ、推論レイテンシの予測可能性という明確な優位性が今なお残っており、エッジデバイスや中小規模の導入では十分に合理的な選択肢です。両者の違いを整理すると、次のようになります。
| 観点 | Dense | MoE |
|---|---|---|
| 代表例 | Mistral Large 2(123B)、Llama 3.1(405B)、Fugaku-LLM(13B) | DeepSeek-V3(671B/37B)、Kimi K2(1T/32B) |
| アクティブ/総パラメータ比 | 100% | 数%〜15%程度 |
| 推論の計算コスト | 総パラメータに比例 | アクティブパラメータに比例(大幅減) |
| 必要VRAM | パラメータ数相当 | 総パラメータ数相当(全エキスパート常駐が必要) |
| 学習の安定性 | 高い | ルーティング崩壊などのリスクがある |
| 実装・運用の複雑さ | 単純 | 複雑(分散推論、ルーティング設計) |
| 向いている用途 | エッジ、低レイテンシ要件、中小規模の導入 | 大規模フロンティアモデル、計算コスト効率を重視するスケーリング |
4. Attentionの効率化とハイブリッド構成
MoEがフィードフォワード層を対象とする効率化だとすれば、もう一つの重要な潮流はAttention機構そのものの効率化です。その代表格が、DeepSeek-V2(2024年5月)で導入され、DeepSeek-V3やKimi K2にも受け継がれているMulti-head Latent Attention(MLA)です。
通常のAttention機構では、推論時に過去のすべてのトークンのKey・Value(KV)ベクトルをメモリ上のキャッシュに保持しておく必要があり、文脈が長くなるほどこのKVキャッシュが肥大化し、メモリを圧迫します。MLAは、このKey・Valueを低ランクの潜在ベクトルに圧縮してキャッシュすることで、メモリ使用量を劇的に削減する手法です。DeepSeekの技術レポートによれば、DeepSeek-V2は先代のDeepSeek 67B(Dense)と比較して、KVキャッシュを93.3%削減し、最大生成スループットを5.76倍に、さらに学習コストを42.5%削減したとされています。位置エンコーディング(RoPE)との非互換性という技術的な課題は、「decoupled RoPE」と呼ばれる仕組みで解決されました。
もう一つの潮流が、State Space Model(SSM、状態空間モデル)であるMambaとTransformerを組み合わせるハイブリッド構成です。MambaはAttentionのように全トークンのペアを比較するのではなく、入力を逐次的な状態遷移として処理するため、系列長に対して計算量が線形に増加します(Attentionは系列長の2乗に比例して増加します)。長文脈処理において理論上有利とされる一方で、Mamba単体のモデルはICL(in-context learning、文脈内の情報を柔軟に参照する能力)が弱いという弱点が知られており、これを補うために一定間隔でAttention層を挟み込むハイブリッド構成が考案されました。イスラエルのAI21 LabsによるJambaは、この分野の先駆けです。同社の技術レポートによれば、Jamba-1.5-Largeは8層を1ブロックとし、その中でAttentionとMambaの層数比を1対7に設定、さらに2層ごとにMoE(16エキスパート中top-2)を組み込む構成で、398Bの総パラメータのうち94Bをアクティブパラメータとしています。
日本でこの分野に最も踏み込んだ挑戦をしたのが、Preferred Networks(PFN)のPLaMo 2(2025年5月22日リリース、8B/31Bの2系列)です。PLaMo 2は、MambaとSliding Window Attentionを組み合わせた「Samba」系のハイブリッド構成を採用し、長い文章を読み込ませても処理が破綻しにくく、文字の生成速度も向上したとPFNの技術ブログは報告しています。しかしこの挑戦は、SSM系ハイブリッドが抱える構造的な課題も同時に明らかにしました。PFNのポストトレーニングに関する技術ブログによれば、PLaMo 2はNeedle-in-a-Haystack型の情報検索タスク(特に「Phonebook」と呼ばれる、文脈中の特定の情報をピンポイントで思い出すタスク)で一貫して性能が振るわなかったといいます。同社はこの原因を、SSMが過去の情報を固定長の隠れ状態へと圧縮して伝播させるという構造そのものに起因する、要約・圧縮は得意でも任意の位置にある情報を損失なく再現することは原理的に難しい特性だと分析しています。
この教訓を踏まえ、PFNは後継となるPLaMo 3(2025年11月)で方針を転換しました。同社の技術ブログでは、Sambaベースの構成は長い系列長での性能向上を狙ったものだったが実際には向上が難しく、短い系列長でわずかな推論効率の改善が見られた程度だったこと、加えてSambaを採用するモデルが少ないためTransformerに比べてライブラリやアプリケーションのサポートといったアクセシビリティ面で課題があったことを理由に挙げ、PLaMo 3ではAttentionとSliding Window Attentionを組み合わせた、GoogleのGemma 3に近い構成へと変更したと説明されています。SSMハイブリッドは長文脈処理における理論的な魅力を持つ一方で、実運用の壁にぶつかった具体例として、PLaMo 2から3への転換は示唆的な事例といえるでしょう。
5. マルチモーダル対応と軽量化技術
画像や音声などを扱うマルチモーダルモデルの構成にも、大きく分けて2つのアプローチがあります。一つは、画像トークンとテキストトークンを最初から同一のTransformerに入力する「Early fusion(早期融合)」です。Llama 4はこの方式をネイティブに採用しており、独立したビジョンエンコーダを経由せずにテキストと視覚情報を統合的に処理します。もう一つは、独立したビジョンエンコーダで画像を視覚トークンに変換してからLLMに注入する「Late fusion(後期融合)」で、LLaVAのようなモデルがこの方式に該当します。
2025年4月にAppleの研究チームが発表した論文(457個のモデルを学習させた大規模なスケーリング則の研究)は、この設計選択に興味深い知見を加えました。同論文によれば、ゼロから学習する場合にlate fusionがearly fusionより本質的に優れているという証拠はなく、むしろearly fusionはパラメータ数が少ない領域でより高い性能を示し、学習効率も高く、デプロイも容易だったといいます。さらに、early fusion構成にMoEを組み込むと、モデルがモダリティ(テキスト・画像など)ごとに特化した重みを自然に学習するようになり、性能が大きく向上することも報告されています。
もう一つの重要な潮流が、量子化や蒸留によるモデルの軽量化です。gpt-ossは、MoEの重みを4.25ビット/パラメータという極めて低いビット数で表現する「MXFP4」量子化を後段階で適用することで、120Bモデルを単一の80GB GPUに収める設計を実現しています。国内では、富士通が2025年9月に発表した「生成AI再構成技術」が注目を集めました。同社のプレスリリースによれば、独自の量子化技術(層をまたいだ誤差の蓄積を抑制する「QEP」)を自社LLM「Takane」に適用したところ、重みを1ビットまで量子化してもメモリ消費量を最大94%削減しながら、量子化前と比較した精度維持率89%、推論速度3倍を達成したとしています。同社は、従来主流とされる量子化手法「GPTQ」の精度維持率が20%以下にとどまるケースが多いのに対し、これを大きく上回るとも説明しています。ただし、これは富士通による自社ベンチマークに基づく発表であり、標準的な公開ベンチマーク(MMLU等)を用いた第三者による独立検証は、現時点の公開情報からは確認できていません。
6. 主要企業のアーキテクチャ選択
ここまで見てきた技術要素を踏まえて、主要なAI企業がどのようなアーキテクチャ選択をしてきたかを整理します。DeepSeekはMoE・MLA・補助損失フリーのルーティングという組み合わせを一貫して推し進め、事実上の業界標準を作った立場にあります。Metaは Llama 3までDense路線を貫いていましたが、Llama 4で明確にMoEへと転換しました。Alibaba(Qwen)は同一世代の中にDenseモデルとMoEモデルの両系統を持たせるという、他社にはあまり見られない併存戦略を取っています。Mistral AIは、Mixtral(MoE)→ Large 2(Dense)→ Large 3(再びMoE)と、世代ごとに揺れ動きながら最終的にMoEへ回帰しました。xAIはGrok-1でMoE(314B)を採用し、Moonshot AIはKimi K2でMLAを採用した1兆パラメータ級のMoEを実現しています。
OpenAIとGoogleについては、フラッグシップモデルの内部構造が公式に開示されていないため、確度に差のある情報として扱う必要があります。Googleについては、Gemini 1.5世代以降にMoEを採用していることを自ら公表しています。一方OpenAIのGPT-4については、2023年7月に調査会社SemiAnalysisが報じた内容として、約1.8兆パラメータ・16個のエキスパート(各エキスパートは約1,110億パラメータ)によるMoE構成で、1トークンあたりの推定アクティブパラメータは約2,800億とする情報が広く流通しています。この情報はその後複数の技術メディアで参照されていますが、OpenAI自身がこれを公式に確認したことは一度もなく、あくまで報道ベースの情報として理解する必要があります。
GPT-5については、これとは異なる種類の情報が公式に開示されています。OpenAIのシステムカードによれば、GPT-5は単一の巨大モデルではなく、「ほとんどの質問に答える高速なモデル(gpt-5-main)」「難しい問題向けのより深い推論モデル(gpt-5-thinking)」、そして会話の種類・複雑さ・ツールの要否・ユーザーの明示的な意図に基づいてどちらを使うかを瞬時に判断する「リアルタイムルーター」から構成される「統合システム」だと説明されています。これは、1つのモデル内部でトークンごとに専門家を切り替える従来型のMoEとは異なる、システムレベルでの条件付き計算という新しいアプローチです。OpenAIは将来的にこれらの機能を単一モデルへ統合する方針を示していますが、各サブモデル自体がMoE構成か否か、総パラメータ数がどの程度かについては、現時点で公開されていません。
7. 日本の国産LLMにおけるアーキテクチャの実態
日本国内で開発が進む大規模言語モデルのアーキテクチャを見渡すと、海外フロンティアモデルほど急速なMoE化は進んでおらず、Dense構成が主流を占めています。これは、多くの国産LLMが「1GPUで動作する軽量さ」や「オンプレミス環境での運用」といった、大規模MoEとは異なる価値軸を重視していることの表れといえます。とはいえ例外もあり、日本国内でも多様なアーキテクチャの模索が進んでいる点は見逃せません。
| モデル | 開発元 | アーキテクチャ | パラメータ規模 | 備考 |
|---|---|---|---|---|
| Fugaku-LLM | 東工大・富士通・理研等 | Denseトランスフォーマー | 13B | スパコン「富岳」(CPU)でフルスクラッチ学習。学習トークンの約6割が日本語 |
| PLaMo 2.0 Prime | Preferred Networks | SSM(Mamba-2)+Sliding Window Attentionのハイブリッド(Samba系) | 8B/31B | 2025年5月22日リリース。後継PLaMo 3では通常のAttention構成へ回帰 |
| tsuzumi 2 | NTT | 非公開(1GPU動作を前提とした軽量設計) | 30B | 2025年10月提供開始。金融・医療分野の知識を強化。個社・業界特化のチューニングに強み |
| Sarashina2-8x70B | SB Intuitions | MoE(8エキスパート、sparse upcycling) | 総約450〜465B | Sarashina2-70Bを元に、既存のDenseモデルをMoE化するsparse upcycling手法で構築 |
| Takane | 富士通×Cohere | Denseトランスフォーマー(Command R+ベース) | 非公開(中型) | 2024年9月提供開始。業種特化カスタマイズを前提としたエンタープライズ向け。2025年に1ビット量子化技術を適用 |
| Llama-3.1-ELYZA-JP-70B | ELYZA | Denseトランスフォーマー(Llama 3.1ベース) | 70B | 2024年10月発表。Llama-3.1-70Bに日本語追加事前学習・指示学習を実施。前世代比で長文処理と指示追従能力を改善 |
| cotomi v3 | NEC | 非公開 | 非公開 | 2025年7月発表。MCP(Model Context Protocol)準拠、128Kトークン対応。v1では13Bと公表していたがv2以降は非公開(NECは「サイズはこれまでとほぼ同じ」と説明) |
この一覧が示すように、日本の国産LLMの多くは「1GPU・オンプレミス・データ主権・日本語特化」という価値軸を重視しており、大規模なMoE化よりもDense構成と軽量化技術(量子化・蒸留)に軸足を置く傾向が見られます。その中で、SB IntuitionsのSarashina2-8x70Bは既存のDenseモデルを「sparse upcycling」と呼ばれる手法でMoE化した数少ない事例であり、比較的小規模なMoEモデルが公開される中でこの規模での学習成功例は珍しいとSB Intuitions自身が述べています。またPreferred NetworksのPLaMo 2は、SSMハイブリッドという野心的な構成に挑戦した末に、次世代モデルでは標準的なAttention構成へ回帰するという貴重な実地の知見を残しました。
8. 今後の展望
MoEのスパース化(総エキスパート数に対する活性化エキスパート数の比率を下げる方向)は、当面さらに進むと見られます。Kimi K2がDeepSeek-V3の256個から384個へエキスパート数を増やし、スケーリング則の分析からスパース化が性能向上に寄与すると結論づけたことは、この方向性を後押しする一つの根拠です。
SSMとAttentionを組み合わせたハイブリッド構成については、Jamba型の「Transformer+Mamba+MoE」の三位一体構成が長文脈処理での効率という理論的な魅力を持ち続けている一方、前章で見たPLaMo 2から3への転換が示すように、実運用における情報検索精度の課題は依然として未解決です。この技術がフロンティアモデルの主流になるかどうかは、現時点ではまだ見通せない段階にあると捉えるのが妥当でしょう。
GPT-5に見られる「システム単位でのモデル振り分け(ルーティング)」は、従来型のトークン単位のMoEとは異なる軸での条件付き計算のアプローチとして注目されます。OpenAIは将来的にこれを単一モデルへ統合する方針を示しており、事前学習時のスケーリングと推論時のスケーリング(いわゆるo系モデルのような、回答時によく考えさせる仕組み)を統合していく流れも、今後さらに広がっていく可能性があります。また、gpt-ossのMXFP4のように、学習後の量子化を前提としてモデルを設計する「量子化ネイティブ」な考え方も、標準的な設計手法の一つとして定着しつつあります。
まとめ
2024年から2026年にかけてのLLMアーキテクチャの変遷を一言でまとめるなら、「計算量と知識容量を切り離す」という発想の広がりだといえます。MoEはこの発想を体現する最も成功した実装であり、DeepSeek-V3が示した設計テンプレートは、わずか1〜2年の間に業界の共通言語のようなものになりました。しかし同時に、MoEが万能ではないことも明らかになっています。VRAM要件は総パラメータ数に縛られ続けるという制約、学習の不安定さ、分散推論の複雑さは、Dense構成が今なお持つ「単純さ」という価値を色あせさせるものではありません。
モデルを選定・評価する立場からは、「◯◯Bパラメータ」という見出しの数字だけでなく、アクティブパラメータ数、エキスパート構成、KVキャッシュの圧縮手法(MLAの有無)といった内部構造まで踏み込んで比較することが、これまで以上に重要になっています。総パラメータ数だけを見て「軽そうだ」と判断すると、実際に必要なメモリ容量を見誤りかねません。日本国内の国産LLMを見渡しても、Dense中心の堅実な設計から、MoEへの挑戦、そしてSSMハイブリッドの模索とその軌道修正まで、各社各様のアプローチが並行して進んでいます。アーキテクチャの選択に「唯一の正解」がない以上、それぞれの設計判断の背景にある技術的なトレードオフを理解しておくことが、今後のモデル活用を考えるうえでの土台になるはずです。