「自分でLLMを動かすことでイメージがつきやすくなる」 ローカルで使うメリットと、日本語特化LLMを動かすために必要なスペック | ログミーBusiness

システムはChatGPTをどのように使うかきしだなおき氏：今、人間がどう使うかという話を中心に話しました。（次に）じゃあシステムからどう使うかとなると、APIを使った利用になりますね。 今日（2023年6月14日時点）朝起きたら「関数定義が可能になったよ」みたいなものが出ていて。今回の（セッションで話した）概要（の内容）とか…。（この概要は）昨日になってやっと（運営に）送ることができたんですけど、「どういう話をしようか」と思って朝起きたら、毎日状況が変わっているんですよね。 動かなかったものが動くようになっている。もっと小さく動かせるようになっているとか、もっと高性能なものが出ているとか。この2、3ヶ月ぐらいは本当に毎日毎日（状況が）変わってきていますね。 どういう話をすればいいかがちゃんとフィックスできなかったので、わりと雑なプレゼンテーションになっています。まぁ、いいや（笑）。 API

[namutaka]

ggmlならCPUで動くから試すには簡単。軽量のモデルなら答えの精度は置いといて、文章はそれなりに返答してくれる

[minamishinji]

やっぱりそれなりのメモリはいるよね…

[ahat1984]

“16GBが載ったRTX 4060”