合同会社しゅし
Syushi LLC.

— Blog

ローカルAIのPC選び、決め手は「世代」より「VRAM」だった

（更新: 2026年10月3日） #AI活用テクニック #ローカルAI

目次
  1. この記事の結論（3行）
  2. 何を試したのか
  3. 検証に使った3台
  4. 測り方
  5. 結果①：7〜8Bまでは、3台とも横一線
  6. 結果②：9Bで「8GBの壁」、20Bで「12GBの壁」が現れる
  7. なぜ「世代」で勝てないのか：溢れた瞬間に速度が1/6になる
  8. では、なぜ大きいモデルにこだわるのか：賢さはサイズに乗る
  9. 16GBの先へ：20B超えモデルと「2枚差し」の実験
  10. GPUを2枚挿してVRAMを合算してみる
  11. これからに期待していること
  12. まとめ：ローカルAIのPCは「VRAM何GBか」で選ぶ
  13. 参考・出典

AI生成
この記事は、弊社が実施した検証データをもとに AI（Claude）で記事を生成し、人が内容を確認したうえで公開しています。図表・計測値は弊社の実測です。

「AIをローカルで動かすPCが欲しい。GPUは新しいほど速いんでしょ？」──そう思って、手元にあるGPUの違う3台に同じモデルを載せて測ってみたら、結果は少し違いました。新しい世代のGPUが、古い世代のGPUに負ける場面があったのです。理由は一つ、VRAM（GPUのメモリ）の容量でした。

この記事の結論（3行）

  1. ローカルAIの速さは、モデルがVRAMに丸ごと収まるかどうかでほぼ決まる。収まらないと速度は一気に落ちる。
  2. GPUの「世代」や「演算性能」は、VRAMに収まっている限りは差が出にくい。7〜8Bクラスなら3台とも横一線だった。
  3. 賢いモデルほど大きく、大きいモデルほどVRAMを食う。だから「どのくらい賢いAIを回したいか」＝「VRAMを何GB積むか」で選ぶ。

何を試したのか

きっかけは、あるお客様向けに「業務データを一切外に出さずにAIを使いたい」というご相談をいただき、ローカルLLM（PC内で完結する大規模言語モデル）を動かすPCを組んで検証したことです。クラウドのAIは便利ですが、契約書や個人情報を扱う現場では「データがどこに行くのか」が最初の壁になります。ローカルで動けば、その心配がそもそも無くなります。

検証の途中で、GPUの違う3台が手元に揃いました。せっかくなので、同じモデル・同じ条件で3台を横並びにして「どこで差がつくのか」を測ってみることにしました。本記事は、その結果を技術的な観点でまとめたものです。

検証に使った3台

偶然ですが、3台は「世代」と「VRAM容量」がきれいにねじれています。1号機はいちばん新しい世代なのにVRAMが最も少なく、2号機は最も古い世代なのにVRAMは中間、3号機はAMD製で最もVRAMが多い、という構成です。

NVIDIA GeForce RTX 4060 Ti

RTX 4060 Ti / 8GB

1号機 ─ Ada Lovelace世代（2023）

画像: 极客湾Geekerwan「RTX4060TI评测」より（CC BY 3.0 / Wikimedia Commons）左半分を切り出し
NVIDIA GeForce RTX 2060（基板）

RTX 2060 / 12GB

2号機 ─ Turing世代（2019）

画像: Mr ATM「NVIDIA GeForce RTX 2060」（CC BY 2.0 / Wikimedia Commons）基板裏面
AMD Radeon RX 9060 XT

RX 9060 XT / 16GB

3号機 ─ RDNA 4世代（2025）

画像: Padgriffin「AMD Radeon RX9060XT」（CC BY 4.0 / Wikimedia Commons）
1号機 2号機 3号機
GPU GeForce RTX 4060 Ti GeForce RTX 2060 Radeon RX 9060 XT
VRAM 8GB GDDR6 12GB GDDR6 16GB GDDR6
VRAM帯域 288 GB/s 336 GB/s 320 GB/s
GPU世代 Ada（2023） Turing（2019） RDNA 4（2025）
CPU Core i5-14400F Core i7-10700T（省電力35W） Core i7-7700
メモリ 32GB 48GB 16GB
推論バックエンド CUDA CUDA ROCm

CPUや本体メモリもバラバラですが、後述のとおりモデルがVRAMに収まっている間はCPUの差はほぼ出ません。逆に、収まらなくなった瞬間からCPUと本体メモリの性能が顔を出します。

測り方

  • 実行環境: Ollama（ローカルLLMの実行基盤）。Web UIは経由せず、APIを直接叩いて応答に含まれる計測値を採る
  • 指標: 生成速度 tok/s（1秒あたりに生成するトークン数。日本語なら1トークン≒1〜2文字）。人が読む速さの目安が15〜20 tok/sなので、それを超えていれば「待たされない」体感になる
  • モデル: 7B級（qwen2.5:7b）／8B級（llama3:8b）／9B級（gemma2:9b）／20B級（gpt-oss:20b）の4種。いずれもOllama標準の量子化（4bit前後）
  • 条件: 数千文字の業務文書を読ませる長文プロンプト。ウォームアップ1回を捨てて3回計測の中央値。あわせてGPU使用率（モデルの何％がGPUに載ったか）も記録

結果①：7〜8Bまでは、3台とも横一線

モデル別 生成速度（tok/s）3台比較 0 10 20 30 40 50 60 人が読む速さの目安 ▶ 53.5 55.5 50.9 qwen2.5:7b 54 54 51.3 llama3:8b 31.4 80% 38.5 39.7 gemma2:9b 34.4 44% 31.5 70% 54.1 gpt-oss:20b 生成速度 tok/s（大きいほど速い） 1号機 RTX 4060 Ti / 8GB 2号機 RTX 2060 / 12GB 3号機 RX 9060 XT / 16GB 斜線＝モデルがVRAMに収まらず一部CPUで動作（棒の中の％＝GPUに載った割合）
図1: モデル別 生成速度（tok/s・3回中央値）。斜線の棒はモデルがVRAMに収まらず一部CPUで動いたもの

まず目を引くのは、7B・8Bクラスでは3台の差がほとんど無いことです。2023年のRTX 4060 Tiも、2019年のRTX 2060も、AMDのRX 9060 XTも、50〜55 tok/s前後で並びました。4年分の世代差は、この用途ではほぼ見えません。

理由は単純で、LLMの文章生成は「演算」よりも「メモリからモデルの重みを読み出す速さ」に縛られる処理だからです。3枚ともVRAM帯域は300 GB/s前後で大差なく、7〜8Bのモデル（約4.7GB）がVRAMに丸ごと収まっている限り、ほぼ同じ速さで頭打ちになります。

結果②：9Bで「8GBの壁」、20Bで「12GBの壁」が現れる

差がつき始めるのは9Bクラス（gemma2）からです。いちばん新しい1号機（8GB）だけが失速し、GPU使用率は80％──つまりモデルの2割がVRAMに入りきらずCPU側に漏れました。結果、古い2号機（12GB）に20％以上の差をつけられています。

20Bクラス（gpt-oss）ではさらにはっきりします。3号機（16GB）だけがモデル全体（約13GB）をVRAMに載せて54 tok/s。8GBの1号機と12GBの2号機は、それぞれGPU使用率44％・70％で、どちらも30 tok/s台まで落ちました。

VRAM容量と、載せられるモデルサイズの関係 VRAM 8GB 1号機 7B級 9B級 20B級 溢れる VRAM 12GB 2号機 7B級 9B級 20B級 溢れる VRAM 16GB 3号機 7B級 9B級 20B級 収まる 柱＝モデル本体のVRAM占有（7B級≒4.7GB／9B級≒5.4GB／20B級≒13GB）。実際はこれに会話の作業領域が1〜3GB上乗せされる
図2: VRAM容量と、載せられるモデルサイズの関係。柱がタンクからはみ出した分がCPU側に漏れる

興味深いのは、20BクラスでVRAMの多い2号機（12GB）が、少ない1号機（8GB）に負けている点です。2号機はVRAMに70％載っているのに、8GBで44％しか載っていない1号機より遅い。これは、VRAMから溢れた分を処理するCPUが、2号機は省電力版（i7-10700T・35W）で非力だったためです。溢れた瞬間から「GPUの勝負」ではなく「CPUと本体メモリの勝負」に変わる──このことが、VRAMの重要さを裏側から示しています。

なぜ「世代」で勝てないのか：溢れた瞬間に速度が1/6になる

メモリ帯域の比較：VRAMと本体メモリ メモリ帯域 GB/s（モデルの重みを毎トークン読み出す速さ） 1号機 RTX 4060 Ti のVRAM 288 GB/s 2号機 RTX 2060 のVRAM 336 GB/s 3号機 RX 9060 XT のVRAM 320 GB/s PC本体のメモリ（DDR4-3200） 約51 GB/s VRAMから溢れた分は、この「約1/6〜1/7の速さ」のメモリから読むことになる
図3: メモリ帯域の比較。GPUのVRAMと、PC本体のメモリ（DDR4）では読み出し速度に6〜7倍の開きがある

LLMは1トークン生成するたびに、モデルの重み全体をメモリから読み直します。20Bモデルなら毎回13GBです。VRAMなら300 GB/sで読めるので1回あたり約0.04秒、これが「1秒に20〜50トークン」の正体です。ところがVRAMから溢れた部分は、本体のDDR4メモリ（約50 GB/s）から読むことになり、その部分だけ6〜7倍遅い。GPUがどれだけ新しくても、この足かせは外せません。

つまり、「GPUの世代が新しい＝速い」が成り立つのはモデルがVRAMに収まっている場合だけで、収まらなければ世代の差はメモリ帯域の差に飲み込まれてしまいます。

では、なぜ大きいモデルにこだわるのか：賢さはサイズに乗る

「7Bで足りるなら8GBでいいじゃないか」という考え方もあります。ただ、実務で使うなら話は別です。同じ設問セット（雑談・応答精度・事実の正確さ・長文作成の56問）を各モデルに解かせて5点満点で採点したところ、モデルサイズと回答品質にはきれいな相関がありました。

モデルサイズと回答品質の関係 1 2 3 4 5 0B 5B 10B 15B 20B モデルサイズ（パラメータ数・B=10億） 回答品質（5点満点・56問の採点平均） LFM2.5 1.2B（1.9） qwen2.5 7B（3.2） llama3 8B（2.1） gemma2 9B（3.7） qwen3 14B（3.6） gpt-oss 20B（4.3） ※llama3は日本語がほぼ話せず英語で回答＝例外
図4: モデルサイズと回答品質（2号機で計測・56問の採点平均）。20Bは7Bより1点以上高い

7Bクラスは「無難だが踏み込みが浅い」、20Bクラスは「提案資料がそのまま使えるレベル」という体感差があり、業務で使うほど大きいモデルが欲しくなります。すると必要なVRAMも増える。「賢さ → モデルサイズ → VRAM」という一本の線でつながっているのが、ローカルAIのPC選びの本質です。

16GBの先へ：20B超えモデルと「2枚差し」の実験

3号機（16GB）で、20Bを超えるモデルも試しました。結果は次のとおりです。

モデル サイズ 生成速度 回答品質 事実の正確さ 備考
gpt-oss:20b 約13GB 52 tok/s 3.7 2.4 速いが数値・期限を堂々と間違える
qwen3:30b-a3b 約19GB（MoE） 19 tok/s 3.9 3.0 3GB分溢れても実用速度。ツール呼出精度95％
mistral-small3.2:24b 約15GB 9 tok/s 4.0 4.1 最も正確。gpt-ossが誤った法律系設問を正答
qwen3:32b 約22GB（密） 2.7 tok/s ─ ─ 16GBでは実用不可。途中で打ち切り

ここでも同じ構図です。VRAMに収まる20Bは快速、3GB溢れる30B-A3Bはギリギリ実用、6GB溢れる32Bは使い物にならない。一方で、正確さを求めるほど大きいモデルが欲しくなることも数字に出ています（mistral-small3.2の事実正確性4.1は、gpt-ossの2.4とは別次元です）。

GPUを2枚挿してVRAMを合算してみる

そこで、3号機に手元にあった旧世代のRadeonを追加して「VRAMを合算できるか」を試しました。OllamaはAMDのROCmとVulkanという2種類の実行ライブラリを持っており、同じライブラリで認識されたGPU同士でしか1つのモデルを分割しません。新しい9060 XTはROCm、古いカードはVulkanでしか動かないため、そのままでは合算されませんでした。両方をVulkanに揃えると合算に成功しています。

モデル 9060 XT 1枚（ROCm） 2枚合算（Vulkan統一）
gpt-oss:20b 59 tok/s 36 tok/s
qwen3:30b-a3b 溢れる 54 tok/s（GPU100％）
gemma3:27b 5.8 tok/s 12.6 tok/s
qwen3:32b 3.6 tok/s 9.5 tok/s

合算すると30B-A3Bが丸ごと載って54 tok/sまで跳ね上がる一方、Vulkanは9060 XT単体ではROCmの6割程度の速さになるというトレードオフもありました。「合算は効くが、ライブラリの相性という新しい壁が出てくる」というのが現時点の手応えです。ここは今後もっと良くなる余地が大きい領域だと感じています。

これからに期待していること

今回の検証で見えたのは「VRAMが天井を決める」という現在地ですが、その天井は確実に上がりつつあります。個人的に期待している方向を4つ挙げます。

① ミドル帯GPUのVRAM大容量化

2025年のRX 9060 XTやRTX 5060 Tiには16GB版が用意されました。数年前なら上位機にしかなかった容量が、10万円を切る価格帯まで降りてきています。この流れが続けば「20B級を全載せ」が普通のデスクトップで当たり前になります。

② MoE（専門家混合）モデルの普及

今回のqwen3:30b-a3bのように「30B分の知識を持ちながら、毎回動くのは3B分だけ」というモデルは、VRAMさえあれば小型モデル並みの速さで大型モデルの賢さを出せます。VRAM容量の価値がますます高まる方向です。

③ 統合メモリ（CPU・GPU共有）という選択肢

Apple SiliconやAMD Ryzen AI Maxのように、本体メモリをそのままGPUが使えるアーキテクチャなら「VRAMの壁」自体が薄くなります。帯域はまだGDDR6に及びませんが、64GB・128GBという容量は魅力的です。

④ 量子化と実行基盤の進化

MXFP4のような新しい量子化形式は、20Bを13GBに圧縮しつつ品質を保っています。実行基盤側（Ollama／llama.cpp）の最適化も日進月歩で、同じVRAMで載せられるモデルは今後も増えていくはずです。

まとめ：ローカルAIのPCは「VRAM何GBか」で選ぶ

8GB

7〜8Bクラスまでを最速で回す入門機。チャットや要約、定型文の作成なら十分。9B以上は載らないと割り切る。

12GB

9〜14Bクラスまで余裕をもって載る中位機。日本語品質の高いモデルを選べる。20Bは溢れるので、CPUが非力だと逆に遅くなる点に注意。

16GB

20Bクラスを全載せできる現実的な上限。提案資料の作成やツール呼び出しなど「賢さが要る」業務用途はここから。MoE型の30Bも視野に入る。

GPUを選ぶとき、つい「世代」や「型番の数字」に目が行きがちです。しかしローカルAIに限っては、まず「動かしたいモデルのサイズ」を決め、それが丸ごと収まるVRAMを積む──この順番で考えるのが、いちばん失敗しない選び方だと思います。

弊社では、こうした検証結果をもとに「業務データを外に出さないローカルAI環境」の構築や、モデル選定のご相談を承っています。お気軽にお問い合わせください。

参考・出典

#gemma #gpt-oss #GPU #Llama #MoE #Ollama #PC選び #Qwen #Radeon RX 9060 XT #RTX 2060 #RTX 4060 Ti #VRAM #ベンチマーク #マルチGPU #メモリ帯域 #ローカルLLM #実測 #生成速度

次の記事 → キーワードは「盆栽」。次にひっそりとくる「三値化」とは？～名前にaiがつくのがみそ～

記事一覧へ戻る

お困りごと、聞かせてください。

記事の内容についてのご質問も、システム開発のご相談も歓迎です。まずはお気軽にどうぞ。

お問い合わせ →