にわかに生成AIづくわたくし。

 ソフトバンクの「Perplexity Pro 1年間無料」を、6月の申し込み期限ギリギリで使い始めました。使ってみると非常に便利で、手放せなくなったんです。

  • ChatGPTGeminiClaudeGrokなど、様々なAIエンジンが使える
  • なるべく新しい情報を探してくれる
  • 情報源のURLを提示してくれる

という3点が特に便利です。

これに関連して、仕事でも生成AIを使いたくなりました。しかし、それなりに秘密にしておかなければならない情報を扱うため、クラウドサービスを利用するわけにはいかず、ローカルで動作するLLMを探すことにしました。

LM Studioをインストールして幾つかのLLMを試した結果、僕が使っている2022年モデルMacBook Air M2(メモリ16GB、10コアGPU)でそれなりに動くのは、サイズが10GB未満程度のLLMです。

ちなみに、なるべくApple Siliconの性能を最大限に引き出してもらうためにGGUFよりもMLXを優先して選びました。

などが、快適〜我慢できるレベルで動作します。

比べてみて分かったことは、

  1. やはり大規模モデルは基本的に賢いです
  2. gemma 3 270mは容量も食わないし速いのですが、ファインチューニングにより何かに特化する前提の作りなので、故に一番遊べそうです
  3. qwen3deepseekと同じく中国製なので、ちょっと怖いのですが、割と日本語処理が自然で動作も軽い(中国系と思しき偽広告や偽メールがなくならないわけです)

ただ、容量と時間の許す限り複数のLLMに同じタスクを投げてみて、結果を見比べながら使っていくのが良さそうだと感じました。

このブログの人気の投稿

FMV Comfort Keyboard KB800(FMV-KB800T)を買ってみた(簡易レビュー的メモ)

iPlay 70 mini Ultra購入して良い感じだったんだけど……結局iPad Air 11インチ買っちゃった!

最近のパケット事情(または断捨離し損ねた通信契約の話)