現在実験中の、ローカルLLM。

当方のミニPCでも、一応メモリは64GBですので、Gemma4 26B A4Bであれば、ギリギリ使い物になります。
ですが、これ以上のモデルになると、要求スペックが一気に上がり、先立つものを用意するのが難しい状況。

とは言え、まだ設定は詰めていません。
まずは、この26B A4Bを前提に、解答精度の向上を目指して、少し試行錯誤をしてみたいと思います。

各種パラメータの調整や、量子化の見直しなど、できることはまだ残っています。
大きなモデルを追いかける前に、今の環境でどこまで改善できるかを確認しておくのは、無駄ではないはず。

ということで、しばらくいろいろやってみます。

• « 前の記事へ