にわかに生成AIづくわたくし。
ソフトバンクの「Perplexity Pro 1年間無料」を、6月の申し込み期限ギリギリで使い始めました。使ってみると非常に便利で、手放せなくなったんです。
という3点が特に便利です。
これに関連して、仕事でも生成AIを使いたくなりました。しかし、それなりに秘密にしておかなければならない情報を扱うため、クラウドサービスを利用するわけにはいかず、ローカルで動作するLLMを探すことにしました。
LM Studioをインストールして幾つかのLLMを試した結果、僕が使っている2022年モデルMacBook Air M2(メモリ16GB、10コアGPU)でそれなりに動くのは、サイズが10GB未満程度のLLMです。
ちなみに、なるべくApple Siliconの性能を最大限に引き出してもらうためにGGUFよりもMLXを優先して選びました。
- google/gemma-3-12b
- google/gemma-3n-e4b
- google/gemma-3-270m-it
- qwen/qwen3-4b-2507
- qwen/qwen3-4b-thinking-2507
- liquid/lfm2-1.2b
- llama-3.1-swallow-8b-instruct-v0.2
などが、快適〜我慢できるレベルで動作します。
比べてみて分かったことは、
- やはり大規模モデルは基本的に賢いです
- gemma 3 270mは容量も食わないし速いのですが、ファインチューニングにより何かに特化する前提の作りなので、故に一番遊べそうです
- qwen3はdeepseekと同じく中国製なので、ちょっと怖いのですが、割と日本語処理が自然で動作も軽い(中国系と思しき偽広告や偽メールがなくならないわけです)
ただ、容量と時間の許す限り複数のLLMに同じタスクを投げてみて、結果を見比べながら使っていくのが良さそうだと感じました。