RAGを使った社内情報を回答できる生成AIボットで業務効率化してみた | DevelopersIO
はじめに 新規事業部 山本です。 ChatGPT（OpenAI API）をはじめとしたAIの言語モデル（Large Language Model：以下、LLM）を使用して、チャットボットを構築するケースが増えています。通常、LLMが学習したときのデータに含まれている内容以外に関する質問には回答ができません。そのため、例えば社内システムに関するチャットボットを作成しようとしても、素のLLMでは質問に対してわからないという回答や異なる知識に基づいた回答が（当然ながら）得られてしまいます。 この問題を解決する方法として、Retrieval Augmented Generation（以下、RAG）という手法がよく使用されます。RAGでは、ユーザからの質問に回答するために必要そうな内容が書かれた文章を検索し、その文章をLLMへの入力（プロンプト）に付け加えて渡すことで、ユーザが欲しい情報に関して回答
OpenAI、企業用のAIアシスタント「ChatGPT Enterprise」を提供開始
OpenAIは2023年8月28日（米国時間）、ChatGPTをシンプルで安全な方法で組織に取り入れることができるという「ChatGPT Enterprise」サービスの提供を開始した。 暗号化によって企業のプライバシーを保護 ChatGPT EnterpriseはSOC 2（Service Organization Control Type 2） に準拠しており、全ての会話は転送中および静止時に暗号化されるという。「企業のプライバシーは保護され、ChatGPT Enterpriseのビジネスデータや会話から学習することはない。新しい管理コンソールでは、チームメンバーを簡単に管理でき、ドメイン認証やSSO、利用状況のインサイトを提供し、企業への大規模な展開ができるようになる」（OpenAI） 関連記事 就活でも活躍するChatGPT、さらに重要性が増す「面接での見極め」 レバレジーズ レバ
ChatGPTを業務に組み込むためのハンズオン.pdf
ChatGPTを業務に組み込むためのハンズオン 2023/06/26 一般公開用 デジタル庁 Fact&Data Unit 大杉直也 ↑マイナンバー交付数のダッシュボードを作っているところです 「Microsoft でテストされたアイデアのうち、改善を示すメトリクスを実際に改善できたのは3分の1にすぎない」 (Microsoft社 元Vice President) 「もしあなたが実験主導のチームにいるなら、70%の仕事が捨てられることに慣れてください。それに応じてプロセスを構築しましょう」(Slack社 Director) A/Bテスト実践ガイド p14より 一方で 「アイデアの価値を見積もることは難しい。このケースでは、年間１億ドルの価値ある単純な変更が何か月も遅れていた。」(同著 p5より) こともあります 午前中のアイデアソンで出たアイデアはちゃんと検証するまで価値があるかは不明です
Code Llama の概要｜npaka
以下の記事が面白かったので、かるくまとめました。 ・Introducing Code Llama, a state-of-the-art large language model for coding 1. はじめに「Code Llama」は、コードと自然言語の両方からコードとコードに関する自然言語を生成できる最先端のLLMです。研究および商用利用が可能で、無料で利用できます。 「Code Llama」は「Llama 2」ベースで、次の3つのモデルを提供します。 ・Code Llama : 基本的なコード生成モデル。 ・Code Llama - Python : Pythonに特化したコード生成モデル。 ・Code Llama - Instruct : 自然言語の指示を理解できるようにファインチューニングしたモデル。 ベンチマークテストではコードタスクにおいて、公的に入手可能な最先端のLL
つくよみちゃんの会話テキストデータセット で GPT-3.5 Turbo のファインチューニングを試す｜npaka
「つくよみちゃん」の「会話テキストデータセット」で「GPT-3.5 Turbo」のファインチューニングを試したので、まとめました。 【最新版の情報は以下で紹介】 1. つくよみちゃん会話AI育成計画（会話テキストデータセット配布）今回は、「つくよみちゃん」の「会話テキストデータセット」を使わせてもらいました。「話しかけ」と、つくよみちゃんらしい「お返事」のペアのデータが300個ほど含まれています。 以下のサイトで、利用規約を確認してから、Excel形式のデータをダウンロードします。 2. データセットの準備「つくよみちゃん」の「会話テキストデータセット」をGPT-3.5の学習で利用するJSONLファイルに変換します。 (1) Colabで新規ノートブックを作成 (2) Excel版の「会話テキストデータセット」を「tsukuyomi.csv」という名前のCSVで出力し、Colabにアップロ
GGMLからGGUFへ：llama.cppのファイルフォーマット変更｜Baku
RedditのローカルLLM板に以下の投稿があった。週明けに「llama.cpp」で使われているGGMLファイルが「GGUF」という新フォーマットに変更されるとのこと。 フォーマット変更の要点GGUFは、GGMLよりも拡張性の高いファイルフォーマット。「.bin」から「.gguf」になる。 これにより、Llama以外の言語モデル（falcon, rwkv, bloom, etc.）がllama.cppでサポートできるようになる。サポートするモデルは段階的に増える予定。 その他、プロンプトフォーマットをGGUF内に設定しておけるようなったり、rope-freq-baseやgqaなどの一部パラメータが不要になる予定。 破壊的変更であり、既存のggmlモデルは「GGUF #2398」のマージ後は使えなくなる（有志がGGML>GGUFの変換スクリプトを作成中）。 マージは週明け（現地8月21日）を
【ローカルLLM】QLoRAで「Vicuna-v1.5」の日本語翻訳性能を向上させる｜Baku
Llama-2(13B)の日本語ファインチューンで試行錯誤している。 fine_tuning521k-jaなどの日本語データセットを手始めに、ShareGPTの日本語データを抽出したりしてQLoRAを試したものの、成果はイマイチで素人の限界を感じる。ColabやRunpodのGPU課金だけが積みあがってゆく…。 というか、自分でLlama-2を日本語ファインチューンしたモデルより「Vicuna」のほうが普通に日本語がうまい。 ならば、Llama-2のベースモデルをイチから日本語トレーニングするよりVicunaをファインチューンした方が話が早いのでは？と思うに至った。 Vicuna自体がLlamaのファインチューンモデルなので、さらにファインチューンを重ねるのがいいのかよくわかんないが…とりあえずテスト。 データセットの用意ひとまず最初は、翻訳タスク（英→日）に限定して「Vicuna-13B
秀丸エディタ・HmChatGPT | ChatGPT | 秀丸マクロ.net
秀丸エディタ v9.25以上の場合は HmOpenAiGptを推奨 秀丸エディタ v9.25 以上の場合は、HmOpenAiGpt を利用してださい。 秀丸エディタのモダンな機能を使用し、エディタとの統合性や使用感を高めており、 定型的なタスクなど目的を絞った形で外部マクロから呼び出すことも可能になっています。 概要 本コンポーネントは、秀丸エディタを活用した OpenAI 経由でGPT 4o miniやGPT 4系の対話エンジンを利用するためのものです。 OpenAI 経由の ChatGPT は、無料ではありませんが GPT-4o-miniなど適切なモデルを選択すれば、格安価格で利用することができます。 この価格設定は、通常の利用方法であれば、ChatGPT Plusの契約よりもはるかに安く抑えることが出来るでしょう。 料金がかかるため、「どの程度利用したらいくらになるか心配だ」と思われ
[人要らず]ChatGPTを使った一人議論やってますか？ - Qiita
はじめに 今回は私が良くやっている「一人議論」という方法について紹介いたします。 これはアイデア出しや壁打ちに便利な手法です。 「使えるかも」と思った方は、ぜひやってみてください。 一人議論とは？ ChatGPTを使った議論のシミュレーションの一つです。 具体的には次のようなプロンプトを利用して行います。 # タスク テーマについて議論してください。 # ルール - 登場人物を3人出してください。 - 議論をまとめないでください。 - 10回会話を続けたところで会話を止めてください。 # テーマ ChatGPTがもたらしたもの すると、次のような議論が始まります。 ここからが一人議論のポイントです。 次に、自分の意見を差し込みます。 ChatGPTにて次のような文章を打ち込みます。 すると、それを元に、次のような会話が続きます。 あとはひたすらこれを続けるだけです。 強めの反論をしても誰も
![[人要らず]ChatGPTを使った一人議論やってますか？ - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/7c10f825677a85302b77def22017999c5b2396fb/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JTVCJUU0JUJBJUJBJUU4JUE2JTgxJUUzJTgyJTg5JUUzJTgxJTlBJTVEQ2hhdEdQVCVFMyU4MiU5MiVFNCVCRCVCRiVFMyU4MSVBMyVFMyU4MSU5RiVFNCVCOCU4MCVFNCVCQSVCQSVFOCVBRCVCMCVFOCVBQiU5NiVFMyU4MiU4NCVFMyU4MSVBMyVFMyU4MSVBNiVFMyU4MSVCRSVFMyU4MSU5OSVFMyU4MSU4QiVFRiVCQyU5RiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZ0eHQtY29sb3I9JTIzMUUyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTU2JnM9NjM2NDYzODI1YmZlN2MwN2ExOTgxYzZkMmM4YTA2MWU%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDBHTVIwMDA5JnR4dC1jb2xvcj0lMjMxRTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9MzYmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz01ODAxZTZkOTVhYmJjOTcyOGU3MzBiZDM2Zjg1ODk1Ng%26blend-x%3D142%26blend-y%3D486%26blend-mode%3Dnormal%26s%3D2d57805ff1d74ec1fc9af0acccda7aba)
Llama.cpp の HTTPサーバー機能を試す｜npaka
「Llama.cpp」のHTTPサーバー機能を試したのでまとめました。 ・Mac M1 1. モデルの準備今回は、「vicuna-7b-v1.5.ggmlv3.q4_K_M.bin」を使います。 ・TheBloke/vicuna-7B-v1.5-GGML ・TheBloke/vicuna-7B-v1.5-16K-GGML ・TheBloke/vicuna-13B-v1.5-GGML ・TheBloke/vicuna-13B-v1.5-16K-GGML 2. ローカルPCでの実行ローカルPCでの実行手順は、次のとおりです。 (1) Llama.cppのインストールとビルド。 $ git clone https://github.com/ggerganov/llama.cpp $ cd llama.cpp $ make(2) modelsフォルダにモデルを配置。 今回は、「vicuna-7b-
Llama2-70b-chatで専門テキスト(学会の予稿集)をファインチューニング(QLoRA)｜Kan Hatakeyama
概要23年8月時点におけるオープンソース大規模言語モデルの筆頭とも言えるLlama2を使い､専門テキストをファインチューニングした際のメモです｡ 言語モデルに知識を追加するのは､意外と難しいということがわかりました｡ 前提となるコード類は以下の記事などを参照 学習データ筆者が所属している学会の一つである､高分子学会の年次大会(2023年)の予稿集を学習させてみることにしました｡ (学会の参加者のみが入手可能な､クローズドなデータです) pdfは単体で500 MBほどあります｡ここから､テキストだけを抜き出しました｡ 処理後の平文のテキストは約150万文字(3.7 MB)でした｡ 参考: pdf to textのコード本筋ではありませんが､解析コードを張っておきます｡ pdfの分割 #pdfの分割 import os from PyPDF2 import PdfReader, PdfWrit
作って遊ぼう！LLMを搭載した君だけのV&Lモデル！
はじめに TuringのBrain Research teamで頑張ってる井ノ上です。(Twitter: いのいち) Turingは完全自動運転の開発を目指しており、その実現のためには賢い頭が必要だと考えています。その方法の一つとして、近年の大規模言語モデル（LLM）に見られるような文脈理解力をうまく取り入れられないかと考えており、LLMとVisionの情報をかけ合わせたモデルに注目して研究を行っています。自動運転とVision and languageモデルについては、ぜひこちらの記事を読んでみてください。 今回の記事は2023年7月に開催されたABCI LLMハッカソンで取り組んだときに開発していたGIT-LLMというモデルの開発について解説する記事となっています。途中のコードの解説部分などは少し退屈に感じるかもしれませんので、その場合はぜひ結果のパートだけでも見てみてください。いろい
ChatGPTの新機能カスタム指示の面白い使い方③発展編｜IT navi
カスタム指示（Custom Instructions）の面白い使い方③発展編です。 今回は、カスタム指示とコードインタープリタの機能を組み合わせた利用法などについて解説します。 ７．クイズChatGPTがクイズの問題を出題し、ユーザーの解答を判定します。最後にクイズの成績を発表します。 カスタム指示の上段への入力内容 私はクイズのプレイヤーです。 カスタム指示の下段への入力内容 あなたはクイズの出題者です。 クイズの問題を出題し、プレイヤーが正解したら「ピンポン」、外れたら「ブー」と言ってください。 問題を出題したところで止めて、プレイヤーが回答を入力するまで待ってください。 プレイヤーが終了を宣言したら、それまでの得点と正解率を表示してください。 クイズの実行例１ 入力 クイズを始めてください ChatGPT 分かりました。それでは、最初の問題を出題します。 問題1: 世界で最も深い海溝
東大発スタートアップ、67億パラメーターの日本語LLMをOSSで公開
東京大学発のスタートアップ企業であるLightblue（ライトブルー）は、公開モデルとしては国内最大規模の67億パラメーターの日本語大規模言語モデルを開発し、オープンソース・ソフトウェアとして公開した。ライセンスはApache 2.0。 東京大学発のスタートアップ企業であるLightblue（ライトブルー）は、公開モデルとしては国内最大規模の67億パラメーターの日本語大規模言語モデルを開発し、オープンソース・ソフトウェアとして公開した。ライセンスはApache 2.0。 この言語モデルは、米モザイクML （MosaicML）が公開した多言語大規模言語モデル「MPT-7B」を基にしたもの。グーグルが開発した多言語データセット「MC4」をアレン人工知能研究所（Allen Institute for AI）がそれぞれの言語ごとに利用可能にしたサブセットの日本語部分を使って追加学習した。 Ligh
世界を変えた画像生成AI、さらに進化「Stable Diffusion XL（SDXL）」いよいよ正式公開 (1/4)
Stability AIは6月26日、画像生成AIの最新モデル「Stable Diffusion XL」を発表しました（「画像生成AI『Stable Diffusion』最高性能の新モデル『SDXL 0.9』一般的なPCで実行可能」）。パラメーター数がオリジナルのStable Diffusionの9億から23億へと大幅に拡大され、描写力が飛躍的に上昇したモデルです。正式版のSDXL 1.0が7月18日に公開予定とあり、あらためて注目されています。ベータ版にあたるSDXL 0.9は先行して、有料課金サービス「DreamStudio」と、Discordでの公開を開始していました。Discordでは1人無料で1回出力可能で、いまもリアルタイムで生成画像が見える状態です。その後SDXL 0.9は研究用に公開されて、ダウンロード可能になりました。 大きな違いは「2回生成する」こと SDXLがこれまで
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GPT-4 falls short of Turing threshold
GPUなサービスをそこそこな費用で運営する | Kai INUI
Reddit - Dive into anything
⚡ Quickstart - Embedchain
awesome-ChatGPT-repositories/docs/README.ja.md at main · taishi-i/awesome-ChatGPT-repositories
