エントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
オフライン環境にローカルLLMを実行する環境を作ってみた - Qiita
記事へのコメント0件
- 注目コメント
- 新着コメント
このエントリーにコメントしてみましょう。
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
オフライン環境にローカルLLMを実行する環境を作ってみた - Qiita
はじめに 以前に以下のような紹介をしました。 今回はこれの続きで、ローカルLLMを使える環境をオフライ... はじめに 以前に以下のような紹介をしました。 今回はこれの続きで、ローカルLLMを使える環境をオフラインで作成したので手順を共有できればと思います。 LLMの選定とダウンロード まず、使用するモデルを選定し、オンライン環境でダウンロードします。ここでは、日本語に対応したjapanese-stablelm-3b-4e1t-instruct-ggufを例に進めます。 ダウンロードしたモデルデータは、オフライン環境へ移行するためにUSBなどの移動可能なメディアに保存します。 必要なライブラリとツールの準備 LLMの実行に必要なライブラリ等をpip downloadを用いて行います。