【令和最新版】何もわからない人向けのローカル LLM 入門
こんにちは、Saldraです。普段はPictoriaという会社でAIの美少女の錬成に励んでいるエンジニアです。この記事はローカルLLMの概要をつかむことを目的とします。対象読者は以下です。 なんとなく ChatGPT は使ったことある人 ローカル LLM を聞いたことあるけどやったことない人 ローカル LLM とは OpenAIがAPIを公開してから、大規模言語モデル（以降LLMとします）は大きく進化していきました。この進化はOpenAIのAPIだけでなく、ローカルLLMも進化をしています。 ローカルLLMとは「一般向けにファイルとして公開されたモデル」で推論させる遊びです。APIは便利ですが、インターネットの接続が必要であったり、API提供側に依存する問題があります。ローカルLLMは自前で運用ができるため、APIにはないメリットや魅力があります。一方で、環境構築やマシンスペック等、少し始
ご家庭のパソコンでLLMが動く!・・・またかよ｜shi3z
やっぱあれですな。 一度動いちゃうと後はもう雪崩のようですな。 そしてこっち側も新鮮味を感じなくなってしまうというか。 んで、ものすごくアッサリとうちのMacBookProで動きました。 量子化済みのモデルをダウンロードしてスクリプト動かすだけ! 工夫なし! Windowsでもいけると書いてある。しかもめちゃくちゃ高速 % ./gpt4all-lora-quantized-OSX-m1 main: seed = 1680064969 llama_model_load: loading model from 'gpt4all-lora-quantized.bin' - please wait ... llama_model_load: failed to open 'gpt4all-lora-quantized.bin' main: failed to load model from 'gp
やはり予想を超えてこなかったGPT-4と、GPUの未来、ホビイストへの手紙
やはり予想を超えてこなかったGPT-4と、GPUの未来、ホビイストへの手紙 2023.03.16 Updated by Ryo Shimizu on March 16, 2023, 08:00 am JST 3月14日の早朝、GPT-4が公開され、筆者は早速試した。 その後、開けて3月15日の早朝、APIも部分的に解放され、筆者はそれも試した。 その上で、先週書いた記事の内容についての確信が深まった。 やはり、GPT-4は期待を超えてはこなかった。 GPT-4は、ChatGPT Plusに入会すると誰でもすぐに使うことができる。APIだけは招待制だが、それも筆者と同じくらいのタイミングでアンロックされた方も少なくないのではないか。 100倍規模のパラメータがあっても、アプローチには限界があるのである。 また、ChatGPTが注目を集めたことで、これまで下火になっていた他の大規模言語モデル(
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://twitter.com/diceK_sawayama/status/1701067024317984870
