自宅のPCでLLMが動く！ オープンソースの視点からひも解く生成AIの現在と未来

プライベート・ビジネスを問わず活用が進む生成AI。そんな生成AIの進化を支えるのが、OSSだ。AIシステムを支えるコアソフトウェアのLangChainやvLLMは、代表例の1つ。しかも最近は生成AI自体がOSSとして提供されており、ローカルでLLMを実行できるところまできている。本セッションでは、レッドハットでスペシャリストソリューションアーキテクトを務める石川純平氏がOSS視点で生成AIの今とこれからを語った。 オープン／クローズドで読み解くLLMの現在 生成AI活用が広がる中で、LLM（大規模言語モデル）事情も変化していると語るのは、レッドハットのスペシャリストソリューションアーキテクト、石川純平氏だ。 レッドハット株式会社 テクニカルセールス本部 スペシャリストソリューションアーキテクト 石川 純平氏 LLMは大きく、クローズドLLMとオープンLLMに分けることができる。クローズドL

[misshiki]

“Red Hatが目指すAIプラットフォームは、その時点でオープンな最新LLMや用途にあったものを柔軟に選択して実行でき、AIデバイスもコストや消費電力を踏まえて最適なものを選択できるオープンなプラットフォーム”

[kojikoji75]

クローズドLLMとオープンLLMの意味をたまに逆にとらえてしまう

[nt1192]

Podmanを使ってPCでLLMを動かすとのこと。方法はRedHat blog ( https://rheb.hatenablog.com/entry/2024/05/17/101927 ) にあった。メモリは32GB以上推奨とのこと。