【令和最新版】何もわからない人向けのローカル LLM 入門

こんにちは、Saldraです。普段はPictoriaという会社でAIの美少女の錬成に励んでいるエンジニアです。この記事はローカルLLMの概要をつかむことを目的とします。対象読者は以下です。 なんとなく ChatGPT は使ったことある人 ローカル LLM を聞いたことあるけどやったことない人 ローカル LLM とは OpenAIがAPIを公開してから、大規模言語モデル（以降LLMとします）は大きく進化していきました。この進化はOpenAIのAPIだけでなく、ローカルLLMも進化をしています。 ローカルLLMとは「一般向けにファイルとして公開されたモデル」で推論させる遊びです。APIは便利ですが、インターネットの接続が必要であったり、API提供側に依存する問題があります。ローカルLLMは自前で運用ができるため、APIにはないメリットや魅力があります。一方で、環境構築やマシンスペック等、少し始

[kotesaki]

やってみたいけどやっぱりGPU無いと非実用的かな？

[hirorock]

llama.cpp

[yarumato]

“生成AIを用いたプログラミングを一度APIでも良いのでやってみて、それをローカルLLMに置き換えるのがオススメ。例えば超簡易的なチャットCLIツールをまずはOpenAI APIで作ってみて、それをローカルLLMに置き換えたり”

[zyzy]

今こんなん出来るんだ

[cinefuk]

"CPUで推論させることができれば、MacBook等でも動かせるようになります。「量子化」という、推論精度を犠牲にしつつ、推論コストを下げる工程を行います。これによって、本来推論では不利なCPUでも推論ができるように"