にわかに生成AIづくわたくし。
ソフトバンクの「 Perplexity Pro 1年間無料」を、6月の申し込み期限ギリギリで使い始めました。使ってみると非常に便利で、手放せなくなったんです。 ChatGPT 、 Gemini 、 Claude 、 Grok など、様々なAIエンジンが使える なるべく新しい情報を探してくれる 情報源のURLを提示してくれる という3点が特に便利です。 これに関連して、仕事でも生成AIを使いたくなりました。しかし、それなりに秘密にしておかなければならない情報を扱うため、クラウドサービスを利用するわけにはいかず、ローカルで動作するLLMを探すことにしました。 LM Studio をインストールして幾つかのLLMを試した結果、僕が使っている 2022年モデルMacBook Air M2 （メモリ16GB、10コアGPU）でそれなりに動くのは、サイズが10GB未満程度のLLMです。 ちなみに、なるべく Apple Silicon の性能を最大限に引き出してもらうために GGUF よりも MLX を優先して選びました。 google/gemma-3-12b google/gemma-3n-e4b google/gemma-3-270m-it qwen/qwen3-4b-2507 qwen/qwen3-4b-thinking-2507 liquid/lfm2-1.2b llama-3.1-swallow-8b-instruct-v0.2 などが、快適〜我慢できるレベルで動作します。 比べてみて分かったことは、 やはり大規模モデルは基本的に賢いです gemma 3 270mは容量も食わないし速いのですが、ファインチューニングにより何かに特化する前提の作りなので、故に一番遊べそうです qwen3 は deepseek と同じく中国製なので、ちょっと怖いのですが、割と日本語処理が自然で動作も軽い（中国系と思しき偽広告や偽メールがなくならないわけです） ただ、容量と時間の許す限り複数のLLMに同じタスクを投げてみて、結果を見比べながら使っていくのが良さそうだと感じました。