当方のPC（UM890Pro）で、Google gemma‑4 26b‑a4bはそれなりに実用レベルで動きます。
日常的な用途や軽めの実験には十分使える印象です。
(もっとも、もともとローカルLLMは全く考えていなかったので、はじめから視野に入っていたらば少し違った機種選択もあったかと思います)

一方で、当初使おうと思っていた gemma‑4 31b は重すぎて、現状ではまったく実用になりません。
設定パラメータの理解やチューニングを進めても、どうにもならない感触が強く、単純に「もう少しで何とかなる」レベルではないように思われます。

31B Denseを動かす際のボトルネックは「演算力」ではなく「メモリ帯域」にある状況ですね。
やはりVRAMが十分に載った単体GPU、たとえば RTX4090以上 に相当する環境が必要になってくる気配があります。

そうなると、単なる消耗品の交換や小さなアップグレードで済む話ではなく、ワークステーション級の投資が必要になります。
特定消耗品に収まらないとなると、当方のような零細が気軽に導入できる水準は越えてしまいそうです。

当面の方針としては、無理に大きなモデルをローカルで追いかけるよりも、用途を限定した軽量モデルやハイブリッド運用（ローカルで機密処理、クラウドで重い処理）を検討するのが現実的に思えます。
まずは26b-a4bで運用感を詰めつつ、必要ならば段階的に環境を拡張する。そんな慎重な進め方でいくつもりです。

本日は、このあたりで。

• « 前の記事へ