ローカル環境で生成AIを使えるって、なんとなく聞いていたことがあったけど、キャッチアップしていませんでした。
手元のPCの中だけで完結するので、プライバシーが守られる、ネット接続不要なんていうメリットに興味はありつつも、「なんか遅そう」「めんどそう」という理由で。
OpenAIが、2025年8月5日に、gpt-oss-120bとgpt-oss-20bという２つのオープンウェイト言語モデルを発表したのを機に、パンドラの箱を開けてみたのでシェア。
実際にやってみたら、インストール超絶簡単！作業自体は５分くらいで終わりました。
2021 Mac book pro M1 Max メモリ64GB
最新のマシンじゃないけど、メモリはたっぷりめ。
そして今は、ローカルLLMを簡単に動かすためのオープンソースなんていうものがあるらしいじゃないですか。
gpt-oss-20bをローカルで動かすまでにやったこと、たったの３つ！
- Ollamaにアクセスして、OSを選んでダウンロード＆インストール＆起動。（見慣れたChat-gptライクな画面が表示される）
- gpt-oss:20bを選択して、何か質問してみる。
- gpt-oss:20bモデルのダウンロードが始まり（これはしばらく時間がかかる。もちろん初回だけ。）、終わると回答が表示される。
・・・簡単すぎる。。。
なんでいままでやらなかったんだ！
地球マークを有効にして、Ollamaアカウント登録すると、ウェブ検索も併用した回答をしてくれる。
確かに回答に時間はかかるけど、業務利用やプライベートすぎる情報でクラウドLLM使いたくない時、最高じゃないですか〜。
ちょっといじくり倒してみます！