[B! LLM] koma_gのブックマーク

LLMプロダクト開発とはどういうものなのか？｜erukiti

LLMプロダクト開発者がMac Studioを買ってローカルLLMを触るべき理由という記事を書きました。 mutaguchiさんのツイートを見て、LLMプロダクトの開発とはどういうものなのかを知らない人も多いのかなと気づいたので、そこらへんを記事として書いてみます。 https://t.co/4WvjuuoGnC 「LLMプロダクト開発者がMac Studioを買ってローカルLLMを触るべき理由」の記事のはてブコメント見てたんだけど、ほとんど理解されてなかったのが興味深い。・プロプライエタリなLLMでは、ランニングコストが嵩み、これを利用したサービスは成立しづらい… — mutaguchi (@mutaguchi) April 24, 2024 商用LLM APIとローカルLLMって使い方が全然違う気がしてる。商用LLM APIって、機微情報を送らないこと、規約違反テキストを送らないこ

koma_g 2024/04/27

リンク

敵対的プロンプト技術まとめ - Qiita

こんにちは@fuyu_quantです。この記事はLLM Advent Calender 2023 17日目の記事です。よかったらプライベートで作成したData Science wikiのGPTsも見て下さい！はじめに今回は敵対的なプロンプト技術についてまとめました．まとめ方は主に，Ignore This Title and HackAPrompt: Exposing Systemic Vulnerabilities of LLMs through a Global Scale Prompt Hacking Competition というLLMに対する敵対的なプロンプト技術に関してまとめた論文を参考にしています．本記事の内容が世の中のLLMを使ったサービスの機能向上の役に立てれば幸いです． ※世の中のLLMサービスが敵対的なプロンプト手法に対応できるように公開をしたものであり，利用を

koma_g 2023/12/18

リンク

さまざまなチャットAIを簡単にローカル環境で動かせるアプリ「Ollama」の公式Dockerイメージが登場

「Mistral」「Llama 2」「Vicuna」などオープンソースの大規模言語モデルを簡単にローカルで動作させることが可能なアプリ「Ollama」の公式Dockerイメージが登場したので、早速使い勝手を試してみました。 Ollama is now available as an official Docker image · Ollama Blog https://ollama.ai/blog/ollama-is-now-available-as-an-official-docker-image Ollamaで動作可能な大規模言語モデルの代表例は下記の通り。リストの全体についてはOllamaの公式サイトで確認することができます。モデルパラメーターサイズDownloadMistral7B4.1GBollama run mistralLlama 27B3.8GBollama run ll

koma_g 2023/10/22

リンク

Prompt Engineering Guide – Nextra

Prompt Engineering Guide プロンプトエンジニアリングは、言語モデル（LMs）を効率的に使用するためのプロンプトを開発および最適化する比較的新しい学問分野です。プロンプトエンジニアリングのスキルを身につけることで、大規模言語モデル（LLMs）の能力と限界をより理解することができます。研究者は、プロンプトエンジニアリングを使用して、質問応答や算術推論などの一般的なおよび複雑なタスクのLLMsの能力を向上させます。開発者は、LLMsやその他のツールとのインタフェースとなる強固で効果的なプロンプテクニックを設計するためにプロンプトエンジニアリングを使用します。プロンプトエンジニアリングは、プロンプトの設計と開発に限らず、LLMsとのインタラクションおよび開発に役立つ幅広いスキルと技術を含みます。これは、LLMsとインタフェースすること、ビルドすること、能力を理解すること

koma_g 2023/10/21

リンク

無料でGPT4越え!?ついに来たXwin-LM｜shi3z

今日のウィークリーAIニュースではnpaka大先生と一週間のニュースを振り返った。今週もいろいろあったが、なんといってもダークフォース、GPT-4越えと言われるXwin-LMである。中国製。大先生もまだ試してないというので番組内で一緒に試してみた。もちろんドスパラ製Memeplexマシン(A6000x2)を使用。 >>> from transf ormers import AutoTokenizer, AutoModelForCausalLM >>> model = AutoModelForCausalLM.from_pretrained("Xwin-LM/Xwin-LM-7B-V0.1") Downloading (…)lve/main/config.json: 100%|██████████████████| 626/626 [00:00<00:00, 56.2kB/s] [2023

koma_g 2023/09/22

AI
LLM

リンク

第1回 LLM 勉強会

2023年5月15日（月）に国立情報学研究所にて初回となる LLM 勉強会を開催しました。プログラム勉強会の趣旨、国の動向など [資料] 黒橋禎夫（国立情報学研究所）現状の LLM のサーベイ [資料] 河原大輔（早稲田大学）菅原朔（国立情報学研究所）栗田修平（理化学研究所）各機関での試みの紹介河原大輔（早稲田大学）[資料] 坂口慶祐（東北大学）佐藤敏紀（LINE）高村大也（産業技術総合研究所）参加者乾健太郎（東北大学・オンライン参加）鈴木潤（東北大学・オンライン参加）坂口慶祐（東北大学）高村大也（産業技術総合研究所）石垣達也（産業技術総合研究所・オンライン参加）栗田修平（理化学研究所）吉野幸一郎（理化学研究所・オンライン参加）鶴岡慶雅（東京大学）（資料提供のみ）宮尾祐介（東京大学）谷中瞳（東京大学・オンライン参加）吉永直樹（東京大学・オンライン参

koma_g 2023/06/04

AI
LLM

リンク

からあげ on Twitter: "CyberAgentの日本語の大規模言語モデル、とりあえずいちばん小さいやつを動かしてみました。我が家のRTX3060でどのサイズまでいけるかな… https://t.co/Qewi5E5QUI https://t.co/d5jXjJDYlq"

koma_g 2023/05/17

リンク

The Full Stack - LLM Bootcamp - Spring 2023

What are the pre-requisites for this bootcamp? Our goal is to get you 100% caught up to state-of-the-art and ready to build and deploy LLM apps, no matter what your level of experience with machine learning is. Please enjoy, and em ail us, tweet us, or post in our Discord if you have any questions or feedback! Learn to Spell: Prompt Engineering High-level intuitions for prompting Tips and tricks fo

koma_g 2023/05/13

リンク

LLMが変える、ユーザインターフェースの未来｜Dory

こんにちは、Doryと申します！ 2022年末からChatGPTをはじめとしたAI 技術が爆発的に普及しはじめ、とてもワクワクしながら毎日を過ごしています。本日は、昨今のAI 技術がユーザインターフェースにどんな変化をもたらすか？という観点から記事を書いてみました。 CUI→GUI→NUI→？人間とコンピュータの接点であるユーザインターフェースは、その時代の最新技術を取り込むかたちで、これまで進化を遂げてきました。 70年代ごろ：CUI（Character User Interface）キーボードを使用した文字によるコマンド入力いわゆる"黒い画面"のユーザインターフェース 80年代ごろ：GUI（Graphical User Interface）マウスなどのポインティングデバイスによる操作画像や記号を用いて、情報を“モノ”として直感的に扱うユーザインターフェース現代：NUI（Natu