「ローカルLLMを動かすなら30Bクラスがバランスがいい」という声をよく見かける。7B〜14Bでは複雑な推論やコード生成で見劣りし、70B超は個人が用意できる機材ではまず動かない。その中間にある30B（正確には27B〜35B程度のモデルを慣用的にこう呼ぶ）が「ちょうどいい」とされるのは、単なる感覚論ではなく、量子化後のメモリ使用量とGPU・統一メモリの物理的な上限がぴたりと重なる帯域だからだ。
とはいえ「バランスがいい」という言葉は、実際にどれだけの機材投資を意味するのかを教えてくれない。個人のMacで動かすのと、5〜20人のチームで共有するのと、全社の本番基盤として据えるのとでは、必要なハードウェアもコストも一桁以上変わってくる。本稿では、30Bクラスの密（dense）モデルを軸に、Mac／ローカルPC／複数人用ワークステーション／サーバの4つの利用シーンで、実際にどの程度の機器が必要になるかを整理する。
結論を先に言うと、Q4量子化なら32Bクラスは重みだけで約18〜20GBに収まり、24GBのコンシューマGPU1枚、あるいは64GB以上の統一メモリを積んだMacに「1台完結」で載る。これが70B級になるとこの前提が崩れ、CPUオフロードや複数GPUが必須になる。一方で複数人が同時に使う場面では、単一ユーザーの速度よりも連続バッチング（continuous batching）に対応したエンジンとGPUのVRAM容量がボトルネックになり、話はまったく別物になる。
1. なぜ「30Bクラス」がバランスポイントなのか
30Bクラスの密モデルが特別視される理由は主に3つある。
第一に、1台完結の上限であること。Q4量子化まで踏み込めば重みは約18〜20GBに収まり、24GBのコンシューマGPU1枚に「ちょうど」載る最大クラスになる。70Bクラスの密モデルはQ4でも約35〜40GBを要するため、24GBのカードでは必ずCPUへの部分オフロードが発生し、速度が一桁tok/sまで落ち込む。
第二に、品質の閾値を超えていること。代表例として、Alibabaのコード特化モデルQwen2.5-Coder-32B-Instructは、公式技術レポートによればHumanEvalで92.7、MBPPで90.2、コード修復ベンチマークのAiderで73.7を記録している。これはGPT-4o（同レポート内の比較ではHumanEval 92.1）とほぼ同水準であり、Qwen自身も「EvalPlus・LiveCodeBench・BigCodeBenchでオープンソース最高性能を達成し、GPT-4oと競合する水準」という位置づけで発表している。32Bというサイズで、当時のクローズドソース最上位モデルに匹敵する水準まで到達できることを示した例と言える。
第三に、速度の面でも中間点にあること。パラメータ数を倍にすると推論速度は概ね半減し、必要メモリも倍増する。7B〜14Bは8〜16GBで高速に動く一方、複雑な推論やコード生成では30Bクラスに一歩譲ることが多い。逆に70B超はCPUオフロードが常態化し実用速度を維持しにくい。30Bクラスはその中間で、単一ユーザーに対して快適な速度を保ちながら品質も確保できる帯域にある。
2. メモリとコンテキスト長の基礎知識
サイジングの出発点は単純な概算式である。必要メモリ（GB）はおおよそ「パラメータ数（B）×バイト/パラメータ×1.2（オーバーヘッド）」で見積もれる。バイト/パラメータは量子化方式によって以下のように変わる。
| 量子化 | バイト/パラメータ | 32Bの重みサイズ目安 | 品質の目安 |
|---|---|---|---|
| FP16/BF16 | 2.0 | 約64GB | 基準（劣化なし） |
| INT8/FP8 | 1.0 | 約32GB | 劣化はごくわずか |
| Q5_K_M | 約0.69 | 約22GB | 実用上ほぼ無視できる劣化 |
| Q4_K_M | 約0.55〜0.56 | 約18〜20GB | 一般タスクで軽微、コード生成等で数ポイントの低下報告あり |
見落とされがちなのがコンテキスト長に応じて増えるKVキャッシュだ。GQA（Grouped Query Attention）採用モデルであれば1トークンあたり数百KB程度で済むが、これが積み上がるとコンテキスト長数万トークンの利用ではKVキャッシュだけで重み本体に匹敵する容量を要することがある。llama.cppやvLLMではKVキャッシュ自体を8bitに量子化してこの負担を半減させる機能があり、長文コンテキストを使う場合は必ず考慮に入れる必要がある。
量子化による品質低下については、Q4_K_M程度までは一般タスクでの劣化は軽微とされる一方、コード生成のように厳密な出力を要求されるタスクではより大きく劣化する例が報告されている。Q3以下になると急激に品質が落ちる「崖」があるとされ、実用には推奨されない。この特性はモデルによっても差があり、蒸留モデルは比較的量子化耐性が高い傾向が指摘されている。
3. Macで動かす場合
Apple SiliconはCPUとGPUがメモリを共有する統一メモリアーキテクチャを採用しており、VRAMという概念がなく、統一メモリの容量がそのままモデルサイズの上限になる。推論速度はメモリ帯域にほぼ比例する。Apple公式仕様では、Mac Studioに搭載されるM4 Maxは構成により410GB/s（14コアCPU／32コアGPU）または546GB/s（16コアCPU／40コアGPU）、M3 Ultraは819GB/sの帯域を持つ。
ただし2026年のMac Studioの構成は、当初の想定より大きく制約されている。世界的なDRAM不足を受けて、Appleは2026年3月にM3 Ultra構成の512GBオプションを、5月には256GBオプションも相次いで販売終了し、現在M3 Ultraは96GB構成のみとなっている。M4 Max側もかつては128GBまで選べたが、現在は36GBまたは64GBの2構成に絞られている。さらに2026年6月の値上げにより、M4 Max搭載モデルは1,999ドルから2,499ドルへ、M3 Ultra搭載モデルは3,999ドルから5,299ドルへと引き上げられた。かつて多くのガイドが推奨していた128GB・192GB構成のMac Studioは、現時点では購入できない。同容量が欲しい場合はMacBook Pro（M5 Max搭載モデル）を選ぶしかない状況にある。
この制約下での現実的な選択肢は、32Bクラスであれば64GBのM4 Max（546GB/s構成）で十分という点だ。Q4量子化なら重み約18〜20GB＋KVキャッシュ＋OS分を差し引いても余裕がある。より高精度なQ8や長文コンテキストを重視するなら96GBのM3 Ultraが選択肢になるが、以前のように128GB・256GBへ拡張する道はなく、値上げ後の価格差（5,299ドルから）に見合うかは用途次第で判断が分かれる。MLXコミュニティによる非公式な計測例（M3 Ultra、密32Bモデル、コンテキスト長1K〜32Kでの推移）では、Q4量子化でコンテキスト長1Kにおいて68 tok/s程度、32Kまで伸ばすと47 tok/s程度に落ちるという報告がある。これは特定条件下の一計測であり、モデルや実装によって上下する点には注意してほしい。
Macの強みは消費電力の低さと、統一メモリゆえに大容量モデルを「まるごと」載せられる点にある。一方で、複数リクエストを同時に処理する多重配信の面ではNVIDIA GPU環境に明確に劣り、プロンプト処理（prefill）もGPUより遅い傾向がある。単一ユーザーのインタラクティブな利用には向くが、チームでの共有用途には別の選択肢を検討すべきだろう。
4. ローカルPCで動かす場合
コンシューマGPUで現行世代の最有力候補はRTX 5090だ。NVIDIA公式仕様では、Blackwellアーキテクチャに基づき21,760 CUDAコア、32GB GDDR7メモリ（512bitバス、帯域1,792GB/s）、TDP575Wとなっている。前世代のRTX 4090（24GB GDDR6X、帯域1,008GB/s、TDP450W）と比べ、帯域は約78%向上している。
32Bクラスであれば、Q4またはAWQ量子化で重みが約20GB程度に収まるため、32GBのRTX 5090にはKVキャッシュ・コンテキスト分の余裕を残して載せられる。24GBのRTX 4090でも32B Q4は動作するが、長めのコンテキストを扱う場合は余裕が少なくなる。いずれもシステムRAMは64GB程度を用意しておくと安心だ。
注意すべきはVRAMに収まりきらない場合のCPUオフロードだ。一部レイヤーをシステムRAM側に逃がすとPCIe経由でのデータ往復が発生し、速度が大きく低下する。70Bクラスの密モデルはINT4量子化でも約35〜40GBを要するため、32GBのRTX 5090でも単体では収まらず、オフロードか複数GPU構成が必要になる。「30Bクラスなら1枚で完結する」という前提が崩れる境界線がここにある。
価格面では、RTX 5090はメモリ市況の高騰を受けて2026年を通じて実勢価格が上昇傾向にあると報じられている。国内の実勢価格は変動が大きいため、購入時期の最新情報を確認することを勧める。
5. マルチユーザーワークステーションで動かす場合
5〜20人程度のチームで同時利用する段階になると、単一ユーザー向けのtok/s値はほとんど意味を持たなくなる。ここで効いてくるのがvLLMやSGLangといった推論エンジンが実装する連続バッチング（continuous batching）とPagedAttentionだ。複数のリクエストを動的にまとめて処理することで、GPU使用効率を大きく引き上げる。共通のシステムプロンプトがある場合はプレフィックスキャッシュ機能でさらにスループットを稼げる。
この用途で有力なのが96GBのVRAMを持つRTX PRO 6000 Blackwellだ。1枚で32BクラスをFP8量子化のまま（重み約32GB相当）扱え、テンソル並列を組まずに済む。ただしこのカードの価格動向には注意が必要だ。NVIDIAは発売時に公式MSRPを発表しておらず、2025年3月の発売当初は小売で8,565ドル前後（バルク購入では8,435ドル、一部予約では7,673ドルという例も）だったのが、2026年6月には13,250ドル、同年8月には16,000ドルへと段階的に引き上げられている。これはNVIDIAのマーケットプレイス上の掲載価格であり、Newegg（13,998ドル）やB&H（15,499ドル）など販売店によってはやや低い価格で流通している例も報じられている。GDDR7メモリの供給不足が主因とされ、当面沈静化する兆しは乏しい。
代替としてはH100 80GB（FP8で重み約32GB）や、48GBクラスのL40S・RTX 6000 Adaも選択肢になる。48GBクラスは32Bを載せるならAWQ/INT4への圧縮がほぼ必須になる。同時ユーザー数の目安としては、H100 1枚でFP8量子化した32Bを運用した場合、各ユーザーが実用的な速度を保ちながら同時30〜50セッション程度が扱える、とするGPUレンタル事業者やベンチマーク記事の報告がある。ただしこれらの数値は独立した第三者検証を経たものではなく、方法論も一部非公開であるため、あくまで傾向値として参照してほしい。同時リクエスト数が増えるほど個々のレイテンシは悪化するため、本番導入前には想定同時数での実測を必ず行うべきだ。
6. サーバ／データセンターで動かす場合
全社導入や本番運用の規模になると、A100・H100・H200・L40S・B200といったエンタープライズGPUが選択肢に入ってくる。32BクラスであればFP8量子化で重み約32GB程度に収まるため、H100 80GB1枚でも十分な余裕を持って運用できる。オンプレミス購入かクラウド利用かは、稼働時間の長さと機密データの扱いで判断が分かれる。24時間365日近い連続稼働を前提とする本番用途ではオンプレミス購入が有利になりやすく、断続的な利用やバースト的な需要にはクラウドのGPUインスタンスの方が費用対効果に優れる傾向にある。この損益分岐点は前提条件（減価償却年数、クラウド単価、電力・運用コスト等）によって大きく変わるため、あくまで目安として捉え、自社の利用パターンに即して試算することを勧める。
国内のエンタープライズサーバとしては、富士通が開発してきたPRIMERGYシリーズが選択肢の一つとなる。なお同事業は2024年4月にエフサステクノロジーズ株式会社へ統合されており、現在は同社を通じて提供されている。GPUサーバのラインナップとしては、第4世代または第5世代のIntel Xeon Scalableプロセッサと4基のNVIDIA HGX H100（SXM5、GPUメモリ合計320GB）を搭載するGX2560 M7（水冷モデルもあり）、より新しい世代ではXeon 6900シリーズ（最大128コア）とNVIDIA H200 NVL（141GB、最大8枚搭載可能）を組み合わせた5U空冷モデルのGX2560 M8s、最新のNVIDIA HGX B200を標準搭載するGX2570 M8sなどが公開されている。こうしたHGX/NVLシリーズを搭載したサーバは、複数GPUによる大規模モデルの学習・推論だけでなく、32Bクラスのモデルを高い余裕を持って複数同時運用する用途にも十分対応できる。
やや先の話になるが、富士通は2027年出荷予定の次世代データセンター向けCPU「FUJITSU-MONAKA」を開発中だ。公開資料によれば、Armv9-Aアーキテクチャ・SVE2（256bit）対応で、1チップあたり144コア、2ソケット構成で288コア/ノード、DDR5 12チャネル、PCIe 6.0（CXL 3.0対応）、液冷・空冷の両方に対応するとされる。富士通は競合CPU比で2倍の性能と2倍の電力効率を見積もっており、AI推論やシミュレーション、大規模データ処理向けの高効率なCPUとして位置づけている。あくまで2027年出荷予定の開発計画段階の情報であり、実際の性能・仕様は変更される可能性がある点には留意したい。
7. 規模別の比較
ここまでの内容を、ハードウェアの基本情報と、性能・トレードオフの2つの表に整理する。
| シナリオ | 代表ハード | 32B実効メモリ要件 | 推奨量子化 | 価格帯の傾向 |
|---|---|---|---|---|
| Mac | Mac Studio M4 Max 64GB／M3 Ultra 96GB | Q4で約20GB前後 | Q4〜Q8 | 2,499ドル〜（M4 Max）／5,299ドル〜（M3 Ultra） |
| ローカルPC | RTX 5090 32GB＋システムRAM64GB | Q4/AWQで約20GB | Q4_K_M/AWQ | 高騰傾向、要最新確認 |
| ワークステーション | RTX PRO 6000 96GB／H100 80GB | FP8で約32GB | FP8/AWQ | RTX PRO 6000は2026年8月時点で1.6万ドル前後まで高騰 |
| サーバ／DC | H100/H200/L40S＋エンタープライズサーバ／クラウド | FP8で約32GB | FP8 | オンプレ／クラウドの選択はTCO試算が必要 |
| シナリオ | 単一ユーザー速度の傾向 | 同時利用の目安 | 主なトレードオフ |
|---|---|---|---|
| Mac | Q4で数十tok/s（一計測例） | 1〜数人（多重配信は弱い） | 統一メモリの容量上限は魅力だが、多重リクエスト・prefillでGPU環境に劣る |
| ローカルPC | 高速（機種・条件依存） | 1〜数人 | VRAM超過時のCPUオフロードで速度が大幅低下、高TDPによる電力・発熱 |
| ワークステーション | 連続バッチングで集計スループット向上 | 数十人規模（要実測、報告値は非公式検証） | 同時数増でレイテンシ悪化、GPU価格の急騰 |
| サーバ／DC | 高スループット構成が可能 | 数十人〜（複数GPU構成次第） | オンプレは高CapEx、クラウドは長期利用で割高になりやすい |
まとめ
30Bクラスがローカル運用の「バランスポイント」と言われる理由は、Q4量子化で約18〜20GBに収まり、24GBのコンシューマGPU1枚や64GB以上のMacに1台完結で載る、ちょうどぎりぎりの帯域だからだ。70Bクラスに上げるとこの前提が崩れ、CPUオフロードや複数GPUが避けられなくなる。
導入の判断軸としては、まず単一ユーザーでの検証であればMac（既にお使いなら64GBのM4 Max、より余裕を持たせたいなら96GBのM3 Ultra）かRTX 5090搭載PCで十分だろう。ピーク同時リクエストが常態的に10を超えるようになったら、vLLM等の連続バッチング対応エンジンとRTX PRO 6000やH100クラスのワークステーション化を検討する段階に入る。さらに全社規模での本番運用や機密データのオンプレミス保持が求められる場合は、H100/H200クラスとエンタープライズサーバ、あるいはクラウドGPUとの比較検討が必要になる。いずれの段階でも、2026年はメモリ市況の影響でハードウェア価格の変動が大きいため、購入直前に最新の価格・構成を確認する習慣を持っておきたい。
0 件のコメント:
コメントを投稿