2026年3月、楽天グループが「国内最大規模」として公開した大規模言語モデル「Rakuten AI 3.0」を巡り、技術コミュニティで騒動が起きた。Hugging Face上の設定ファイルを見た開発者たちが、そのアーキテクチャが中国DeepSeek社の「DeepSeek V3」と一致することに気づいたのだ。楽天は当初「ベースモデルは非開示」と回答を避けたが、指摘から10日後、DeepSeekのオープンモデルを採用したことを公式に認めた。
この一件は、「国産LLM」という言葉が実際には何を指しているのかを改めて問い直す出来事になった。楽天だけの話ではない。今回取り上げるSakana AIの最新モデルも、富士通のTakaneも、土台にあるのは海外で作られたオープンモデルや商用モデルである。ゼロから学習する「フルスクラッチ型」は、むしろ少数派だ。
本稿では、蒸留・チューニングによって作られる国産LLMの現状を整理し、このアプローチのメリット・デメリット、そして今後の行方を考える。結論を先に言えば、蒸留・チューニング型は今後も国産LLMの主流であり続けるが、楽天とSakana AIの対照的な対応が示すように、今後は「何をベースにしたか」を隠さず説明できるかどうかが、モデルの評価を左右するようになっていく。
1. 「国産LLM」の2つのタイプ
「国産LLM」と呼ばれるモデルは、大きく2つのタイプに分けられる。ひとつは、Llama・Qwen・DeepSeek・Command R+・Kimiといった海外のオープンウェイトモデルや商用モデルを土台に、継続事前学習・指示チューニング・モデルマージ・知識蒸留などの手法で日本語化した「蒸留・チューニング型」。もうひとつは、トークナイザからアーキテクチャ、学習データまで完全に独自に構築する「フルスクラッチ型」だ。国内で名前の挙がるモデルの大半は前者にあたる。
| モデル | 開発元 | ベースモデル | 手法 |
|---|---|---|---|
| Rakuten AI 7B / 2.0 / 3.0 | 楽天グループ | Mistral-7B（7B）→ DeepSeek V3（3.0） | 継続事前学習、MoE拡張、指示チューニング |
| Llama-3.1-ELYZA-JP-70B | ELYZA（KDDI傘下） | Llama 3.1 | 継続事前学習＋指示チューニング |
| Swallow | 東京科学大学・産総研 | Llama 2 / Llama 3.1 | 継続事前学習（アカデミック） |
| Takane 32B | 富士通・Cohere共同 | Command R+ | 追加学習＋ファインチューニング |
| ABEJA QwQ/Qwen派生 | ABEJA | Qwen2.5シリーズ | 継続事前学習＋ChatVector（モデルマージ） |
| TinySwallow-1.5B | Sakana AI | Qwen2.5-32B → Qwen2.5-1.5B | TAID知識蒸留（研究用途限定ライセンス） |
| Sakana Namazu | Sakana AI | Kimi K2.6（Moonshot AI） | 日本語事後学習＋出力の偏り抑制チューニング |
一方、フルスクラッチ型は少数だが、いずれも「学習データを完全に制御できる」ことを最大の売りにしている。
| モデル | 開発元 | 規模 | 特徴 |
|---|---|---|---|
| tsuzumi 2 | NTT | 30B | GPU1基で動作。2025年10月提供開始 |
| Sarashina2 | SB Intuitions（ソフトバンク） | 460億 | 2025年11月に商用API提供開始 |
| PLaMo | Preferred Networks | 31B（2.x系） | SSM-Attentionハイブリッド。3.0でフルスクラッチ再構築 |
| LLM-jp-3 | 国立情報学研究所 | 172B | 学習データまで含め完全公開 |
| Stockmark-2 | Stockmark | 100B | MITライセンスで公開 |
2. 楽天・Sakana AI・富士通 ― 3つの選択
楽天 Rakuten AI 3.0は2026年3月17日、Apache 2.0ライセンスで無償公開された。プレスリリースでは「オープンソースコミュニティ上の最良なモデルを基に」開発したとするのみでベースモデル名は伏せられていたが、Hugging Face上のconfig.jsonにはアーキテクチャとして「DeepseekV3ForCausalLM」、総パラメータ671B・トークンあたり活性化37Bという、DeepSeek V3と完全に一致する仕様が記載されていた。3月19日の取材に対し楽天は「ベースモデルは非開示」と回答したが、3月27日になって広報からDeepSeekのオープンモデルを採用したとの回答があった。また当初のリポジトリにはDeepSeek V3のMITライセンスが求める著作権表示が欠落しており、指摘を受けて後日NOTICEファイルが追加されている。技術的な手法自体（オープンモデルをベースにしたファインチューニング）は業界で広く行われているものであり、問題視されたのは開示の遅れとライセンス表記の不備だった。開発はGENIAC第3期の補助を受けている。
Sakana AIは対照的な対応を取った。2026年8月3日に提供開始したLLM API「Sakana Namazu」は、Moonshot AIが公開するオープンモデル「Kimi K2.6」を土台に、独自データで日本語と日本の商習慣への適合を進め、特定の話題での応答回避や出力の偏りを抑えるチューニングを施したものだ。公式発表では「Kimi K2.6をはじめとする、オープンなAIエコシステムの上に成り立っている」とベースモデルを明記し、開発コミュニティへの謝辞まで添えている。日本語指示追従を測るJFBench（Preferred Networks開発）、日英翻訳タスク、政治的中立性を測る独自ベンチマークFairPoliticsQAでベースモデルを上回り、特にFairPoliticsQAは34.10%から56.30%へ向上したという。なお、同社が2025年1月に発表した小型モデル「TinySwallow-1.5B」は、Qwen2.5-32B-InstructからQwen2.5-1.5B-Instructへ知識を転移させる独自の蒸留手法TAID（ICLR 2025 Spotlight採択）で作られたものだが、モデルカード上は研究開発目的に限定され、商用利用は想定されていない。
富士通のTakaneは2024年9月30日、CohereのCommand R+をベースに、日本語強化のための追加学習とファインチューニングを施して提供開始された。日本語理解ベンチマークJGLUEで「世界最高記録」を達成したとされるが、これは富士通とCohereによる自社測定であり、公式リリースにも「JNLIとJCoLAについては正解データに不確かさがあったため、複数人のアノテーターにより正解データを修正して測定した参考値」との注記がある。第三者評価であるNejumi LLMリーダーボード3では意味理解0.862、構文解析0.773というスコアも公表している。金融・製造・安全保障分野などセキュアなプライベート環境での利用を主眼としている。
3. ベンチマークの読み方
各社が公表する「世界最高」「最高性能」といった主張の多くは、測定条件を限定した自社測定であり、独立した第三者検証ではない。中立的な指標として国内で最も参照されるのは、Weights & Biases Japanが運営する「Nejumi LLMリーダーボード」（現行はLeaderboard 4）だ。汎用言語性能とアラインメントの2軸で、翻訳・要約・推論・コーディングから毒性・バイアス・真実性までを評価する。
2026年3月時点の分析によれば、Nejumi Leaderboard 4の総合スコアTop 50に日本産モデルは1つも入っていない。最上位はNVIDIA製の「Nemotron Nano 9B Japanese」（0.7111）で、11位のQwen3.5-27B（0.8049）とも大きな差がある。国産モデルの強みは総合スコアではなく、JFBenchのような日本語特化タスクや、日本固有の文脈・慣習への適合度にあるというのが実態に近い。
4. メリット・デメリット
蒸留・チューニング型のメリット
- フルスクラッチの数分の一以下の開発コスト・期間で、Kimi・DeepSeek・Qwenなど強力な基盤モデルの性能をそのまま活用できる
- 少ない追加学習量で高い日本語性能に到達しやすい（費用対効果が高い）
- モデルマージやChatVectorなど低コストな手法で業務特化・軽量化がしやすい
蒸留・チューニング型のデメリット
- 元モデルの能力を大きくは超えられず、性能の天井が基盤モデル依存になる
- Llama・Qwen・DeepSeekなどのライセンス条項が派生物にも及ぶ。再配布や商用利用の可否を確認する必要がある
- 学習データの起源や重みの中身を完全には検証できず、「国産」を名乗ることの妥当性が問われうる。Rakuten AI 3.0の一件はこれを象徴する
フルスクラッチ型の特徴
- 学習データの権利・品質・バイアスを完全に管理でき、データ主権・透明性を訴求できる
- 莫大な計算資源・データ・資金が必要で、同予算では絶対性能で見劣りしがち
5. 政府支援の現状 ― GENIACと源内
経済産業省とNEDOが2024年2月から進める計算資源支援プロジェクト「GENIAC」は、蒸留・チューニング型とフルスクラッチ型の双方を支えてきた。第2期（2024年10月開始）では約20テーマ、第3期（2025年8月開始）では24件が採択され、2026年6月4日に発表された第4期でも16件が採択されている。採択企業にはPreferred Networks、ABEJA、Sakana AI、楽天など、両タイプの開発元が並ぶ。
より踏み込んだ動きが、デジタル庁の政府共用生成AI基盤「源内（げんない）」だ。2026年3月6日、デジタル庁は令和7年12月2日から令和8年1月31日にかけて実施した公募の結果を発表した。応募15件のうち書類審査と評価テストを経て選定されたのは7件で、内訳はNTTデータ「tsuzumi 2」、カスタマークラウド「CC Gov-LLM」、KDDI・ELYZA共同応募体「Llama-3.1-ELYZA-JP-70B」、ソフトバンク「Sarashina2 mini」、NEC「cotomi v3」、富士通「Takane 32B」、Preferred Networks「PLaMo 2.0 Prime」となっている。
| モデル | 応募元 | 系統 | 備考 |
|---|---|---|---|
| tsuzumi 2 | NTTデータ | フルスクラッチ | NTT開発の30Bモデル |
| Llama-3.1-ELYZA-JP-70B | KDDI・ELYZA | 蒸留・チューニング | Llama 3.1ベース |
| Sarashina2 mini | ソフトバンク | フルスクラッチ由来の蒸留 | 自社フルスクラッチ大型モデルを圧縮した派生形 |
| cotomi v3 | NEC | 非公表 | 開発方式の詳細は未確認 |
| Takane 32B | 富士通 | 蒸留・チューニング | Command R+ベース |
| PLaMo 2.0 Prime | Preferred Networks | フルスクラッチ | 独自アーキテクチャ |
| CC Gov-LLM | カスタマークラウド | 非公表 | 開発方式の詳細は未確認 |
興味深いのは、7件のうち少なくとも2件（ELYZA、Takane）が明確な蒸留・チューニング型であり、政府調達候補にも派生型が普通に含まれている点だ。さらに、デジタル庁が公表した選定基準の1つ目には「国内で開発された大規模言語モデルであること。また、開発経緯や開発方法、開発体制、独自開発モデルか派生モデルかの区別等が具体的に説明可能であること」と明記されている。つまり政府は、フルスクラッチかどうかを問うのではなく、「どちらであるかを説明できるか」＝透明性そのものを審査基準に据えている。楽天の一件が示した教訓が、公共調達の設計に先取りされている形だ。選定モデルは2026年8月頃から源内で試用が始まり、2027年1月頃に評価結果の一部が公表され、2027年4月から優れたモデルの政府調達（有償）が検討される予定になっている。
6. 今後の展望
蒸留・チューニング型は、今後も国産LLMの主流であり続けるとみてよい。Kimi K2.6やDeepSeek V3のような高性能オープンモデルが次々と登場する以上、それを土台にする方が費用対効果で圧倒的に有利という構図は変わらない。焦点は「フルスクラッチかどうか」から「何をベースにしたかを説明できるか」へと移りつつある。源内の選定基準がすでにその方向を示しており、今後の公共調達では同様の透明性要件が標準化していく可能性が高い。
一方でフルスクラッチ型は、学習データの完全な統制が要件となる金融・医療・防衛・行政といった領域で、少数派ながら存在感を保ち続けるだろう。ソフトバンクのSarashina2 miniのように「自社フルスクラッチモデルを蒸留して軽量版を作る」という中間的なアプローチも今後増えていくと考えられ、「フルスクラッチか派生か」という二分法自体が、実務上はグラデーションになっていくのではないか。
まとめ
「国産LLM」の大半は、海外オープンモデルへの継続事前学習・チューニング・蒸留によって作られた派生型であり、これ自体は業界標準の手法で問題ではない。楽天のRakuten AI 3.0が炎上したのは、DeepSeek V3を使ったこと自体ではなく、それを開示しなかったことだった。対照的にSakana AIは、直近のNamazuでKimi K2.6という土台を明記し、コミュニティへの敬意まで表明した。デジタル庁の源内が選定基準に「独自開発か派生かを説明できること」を明記したように、今後の国産LLM評価の軸は、開発方式そのものよりも透明性に移っていくと考えられる。
0 件のコメント:
コメントを投稿