RAG入門: 精度改善のための手法28選 - Qiita
RAGの精度改善するために何があるかを学びました。基本系のNaive RAGを知っている人向けの記事です。 方法が多すぎるので、Youtubeの「RAG From Scratch」を中心に少し整理してみました。LangChainをよく使っているので、LangChain出典が多いです。 全体像 まずは、RAGの全体像。Indexingが同じ流れにあるのが少しわかりにくいのですが、実行タイミングとしてはRAGの前準備としてやっておきます。 画像出典: RAG from scratch: Overview もう少し粒度を細かくした図です。 画像出典: RAG from scratch: Overview 表形式で分類します。Generationだけ少し特殊です。 大分類 中分類 内容
AWSの生成AIで社内文書検索！ Bedrockのナレッジベースで簡単にRAGアプリを作ってみよう - Qiita
生成AI、流行ってますね！ 今みんながやってる「社内文書検索」アプリ、いわゆるRAGアーキテクチャをAWSで簡単に作ってみましょう。1時間程度でサクッと試せるハンズオンです。 そもそもBedrockって何だっけ？ こちらの資料で紹介していますので、お時間ある方はご覧ください！ 0. 事前説明 このハンズオンで実施することは以下です。 今回作成するアプリケーションの構成イメージ 1. 環境準備 以下の部分を作成していきます。 1-1. AWSアカウント作成 以下の手順でAWSアカウントを新規作成してください。 クレジットカード情報が必要です。ログイン用のEメールアドレスとパスワードをお忘れなく！ ※アカウント作成を複数名で同時に実施する場合、同じネットワークを利用すると不正検知に引っかかり、SMS認証から先にうまく進めない可能性があります。20名を超える場合は、会場Wi-Fiとテザリングを使
Amazon Bedrockを使ってClaudeを業務利用したい！ - Qiita
Anthropic Claude Advent Calendar 2023 の 13日目の記事です。 業務でLLMを活用したい LLMってすごく便利ですよね！ できることなら、業務に使って生産性を爆上げしたいですよね！ LLMのサービスを使いたいけど、社外サービスの業務利用が制限されていたり、利用申請が大変だったりする会社も多いのではないでしょうか？ この記事を読んでいる方の中に、「既にAWSの社内申請は通っていて、AWSは比較的自由に使える」という方はいませんか？その方に朗報です！ AWSで簡単にLLMチャットアプリを構築するアセットをご紹介します！ bedrock-claude-chat AWSサービスだけで、LLMチャットが実現できるbedrock-claude-chatを開発したので、そちらをご紹介します！（日本語マニュアルはこちら） こちらは、GitHubのaws-samples
話題のローコードツール「Dify」で生成AIアプリを作ってみよう！ - Qiita
Difyって何？ 少し前から話題の、プログラミングなしで生成AIアプリケーションを開発できるOSSです。 「Dify すごい」 でSNSを検索すると、驚き屋さんがみんな驚いています。このゴールデンウィークはAmazon BedrockとDifyの話題でもちきりでしたね。 元々は「GPTビルダーのOSS版ね。はい解散」という感じだったのですが、最近追加された「ワークフロー」機能がすごく便利のようです。 ちょっとしたアプリなら、ローコードで簡単に作れてしまうとのこと。 最近は自分でPCやサーバー準備して動かさなくても、SaaS版が公式から準備されたようです。無料プランもあります。 やってみた サインアップ 公式サイト右上の「Get Started」からサインアップします。 GitHub連携すると、いきなり開発画面に辿り着きました！いいUX。 「（いち？）から作成」よりワークフローを作ってみまし
LLMアプリ開発の必須ツール？！Langfuseがすごい！ - Qiita
2024/04/09 続編書きました。 LangChainを使って色々LLMアプリを作って遊んでいます。 体感速度が遅いけど、どこが遅いかわからない サンプルソースをコピペして作ったので、実は中身のことをわかってない 入力と出力だけじゃなくて、中間の状態も知りたい みたいなことってありませんか？そんなときに使えるツールを見つけましたのでご紹介します。 Langfuseとは LangfuseはLLMエンジニアリングプラットフォームです。LLMアプリからメトリクスやトレースを取得し可視化できます。また、評価、プロンプトの管理、データセットの作成なども行えます OSS開発が進められており、開発の主導はFinto Technologies GmbHというドイツの企業のようです。 公式サイト 主要機能（公式サイトより） LangSmithと類似したツールですが、OSSなのでセルフホストできる点がポイ
Amazon Q の情報まとめ & 触ってみた (2023/12/1時点) - Qiita
はじめに お疲れ様です。yuki_inkです。 AWS re:Invent 2023 に参加しています。 今回の最大のアップデートと目される「Amazon Q」。 本記事は、Qに関する情報をまとめ、また実際にマネコンから触ってみることで、Qの理解を深めようという趣旨のものです。 Amazon Q とは 生成AIを活用した、エンタープライズ向けアシスタントサービスです。 re:Invent 2023 のCEO Keynoteで発表されました。 セキュリティを最優先事項とするAWSらしく、セキュリティ、そしてプライバシーにも配慮されており、企業のポリシーやデータアクセス制限に適合するように設計されています。 「Amazon Qは、その内部のモデルのトレーニングためにお客様の情報を一切使用しない」と明言されているため、今まで生成AIの活用に躊躇していた企業も安心して利用が可能です。 Qの立ち位置
各種Prompt Engineeringの日本語実例集（Zero-CoT、mock、ReAct、ToT、Metacog、Step Back、IEPなど） - Qiita
各種Prompt Engineeringの日本語実例集（Zero-CoT、mock、ReAct、ToT、Metacog、Step Back、IEPなど）Python機械学習入門ChatGPTLLM CoT、Zero-CoT、ToT、mock、ReAct、Step Back、Metacog、IEPなど、各種Prompt Engineering手法の概説と、日本語での実際のプロンプト例をまとめた記事です。 各種Prompt Engineering手法を日本語で実装したい方向けの記事となります。 本記事で取り扱う手法は以下の通りです。 項目数が多いため、記事右下の目次リンクもご活用ください。 本記事の内容 01: 通常のPrompt 02: Few-shot Learning 03: CoT（Chain of Thought） 04: 出力形式の指定方法 05: Zero-shot CoT（≒
Jupyter AIが出た！試した！！すごい！！！ - Qiita
ターミナルにトークン付きのURLが表示されますので、ブラウザでアクセスします。 起動しました。 チャットインターフェイス 左パネルにチャットのボタンが追加されています。 Welcomeメッセージが表示されます。 language modelとembedding modelを選択します。 これで準備完了です。 チャットができます。 おお！ ノートブックについて質問できる ただチャットができるだけではありません。ノートブックのセルに対して範囲選択をすると、チャットエリアの下部にInclude selectionとReplace selectionが表示されます。 Include selectionだと選択したコードを含んだ形で質問ができます。 すっげー！ (DefaultActor pid=473) (DefaultActor pid=473) (DefaultActor pid=473) >
Bardの衝撃。Bardはユーザから指示されたURLのページにアクセスできる。Webページの要約やスクレイピングも？ - Qiita
Bardの衝撃。Bardはユーザから指示されたURLのページにアクセスできる。Webページの要約やスクレイピングも？GoogleスクレイピングChatGPTBard Google Bardが、日本からも利用できる様になりましたが、ChatGPTとの大きな違いがありました。 それは、ユーザが渡したURLにBardがアクセスができることです。 ChatGPTでは基本的にそういったことはできず、やれている様に見えても違った情報を返してしまっていました。 例えば、以下ページのURLを渡して要約してもらうと、返ってくるのは以下の様な返答になってしまいます。 アクセス先のページ ChatGPTからの返答 なんだか、違うページを読み込んでいそうです・・・完全に間違っています。 -- それに対し、Google Bardは正しくリンク先の記事を読み取って要約をしてくれました。 本当にリクエスト先のURLにア
プロンプトインジェクション対策｜ChatGPT APIのLINEボットを一ヶ月運用して戦った記録 - Qiita
ChatGPTのチャットボットを安全に運用する方法 プロンプトインジェクションは、不適切な文字列や悪意のあるコードを含むプロンプトがChatGPTに送信されることで発生するセキュリティ上の懸念です。 2023/04/11現在、LINEボットとして公開されている多くのサービスでプロンプトインジェクション対策がなされていないようです。この記事では、プロンプトインジェクション対策の背景や具体的なプロンプトの例を紹介し、ChatGPT APIを安全に利用する方法を説明します。 背景 ChatGPT APIは、OpenAIが開発した大規模な言語モデルで、自然言語処理のタスクを実行するために利用されます。しかし、APIを利用する際にはセキュリティ上の問題が生じることがあります。プロンプトインジェクションはその一例で、攻撃者が意図的に悪意のあるプロンプトを送信することで、システムやユーザーに悪影響を与え
AWSによる生成AIの新サービス「Amazon Bedrock」の可能性を考察する - Qiita
はじめに 2023/4/13に、AWSが新しい生成AIプラットフォームである「Amazon Bedrock」を発表しました。 この「Amazon Bedrock」を通じて、ビジネスやアプリケーションに最適な生成AIモデルを見つけるための幅広いFoundation Model (FM)を提供するとの発表がされています。 この記事では、Amazon Bedrockがどのように機能し、どのようにしてビジネスに価値をもたらす可能性を秘めているのかを解説します。 1. Amazon Bedrockの仕組み 簡単にまとめると、次のような機能や特徴を持つようです。 AIスタートアップやAmazonが開発した幅広いFMから選択できます。 サーバレスでプライベートにカスタマイズでき、独自のデータを使ってFMを調整できます。 AWSの既存サービスや機能（Amazon SageMakerおよびSageMaker
無料で始めるAmazon CodeWhisperer on VSCode（Github Copilotと同等の性能？） - Qiita
無料で始めるAmazon CodeWhisperer on VSCode（Github Copilotと同等の性能？）AmazoncopilotCodeWhisperer 現在の AIを一言で説明すると・・・ フミコ・フミオさんはTwitterを使っています: 「ほぼ全員がご高齢者の会社上層部からの「対話型AI とは何かその功罪について簡潔に分かりやすく出来たら一言で説明しろ」という難題にヤケクソで「ドラえもんです」と答えたら「便利だけど取扱注意ということだな」とほぼ正解な認識をしてくれたので藤子・F・不二雄先生は偉大すぎる。」 / Twitter Github Copilot と Amazon CodeWhisperer の比較 現時点では Github Copilot の方が使いやすい。 単純な機能だと同じくらいだが、 Github Copilot は、コマンドパレットがあるので、その
【Linuxカーネルを読む】ChatGPTで爆速コードリーディング - Qiita
はじめに OpenAIによって開発されたChatGPTが話題になっています。特に、2023年3月14日に公開された最新モデルであるGPT-4は、これまで私達がAIに持っていた認識を根底から覆したのではないでしょうか？ 私は、「普通に人間とやりとりしているのと変わらんやん…」と率直に驚きました。 エンジニアの業務の中でも、自動コーディング支援、技術的課題の壁打ち相手、ドキュメント自動生成、学習支援等さまざまな用途に活用する可能性を皆さん検証している段階です。私もその波に乗っている真っ最中です。 そこで今回は、ソースコードリーディングをChatGPTをメンターにしたら爆速にできるのではないか？という仮説を検証してみました。 そしてどうせやるなら、ソースコードリーディングのハードルの高さナンバーワン（個人調べ）の「Linuxカーネル」を題材にしてみました。 なお、使用したモデルはGPT-4です。
Few-shot Learningとは何なのか【Generalizing from a few examples: A survey on few-shot learning】 - Qiita
Table 1と比較して、Table 2では、事前知識と書かれた欄が追加されている。Eには、Tに直接関連する教師あり情報を持ついくつかのサンプルしか含まれていないので、一般的な教師あり学習アプローチがFSL問題でしばしば失敗するのは当然のことである。したがって、FSL法は、Eの利用可能な教師情報を、「学習者が例を見る前に未知の関数について持っている情報」である事前知識と組み合わせることで、目標Tの学習を可能にする [86] 。 FSLの利点は以下のようにまとめられる。 人間のように学習するためのテストベッドとしての役割 レアケースのための学習 データ収集の労力と計算コストの削減 ※ Eに教師あり情報を持つ例が1つしかない場合、FSLはOne-shot learningと呼ばれる [14, 35, 138] 。Eが対象Tに対して教師あり情報を持つサンプルを含まない場合、 FSLはZero-s
[翻訳] GPTs are GPTs: An Early Look at the Labor Market Impact Potential of Large Language Models (前編) - Qiita
[翻訳] GPTs are GPTs: An Early Look at the Labor Market Impact Potential of Large Language Models (前編)OpenAIChatGPTGPT-4 訳者註 GPTs are GPTs: An Early Look at the Labor Market Impact Potential of Large Language Models の「GPTs are GPTs」は「事前学習済み文章生成型トランスフォーマー(GPT)は汎用技術(GPT)である」という意味だと理解しています。 前者のGPTs: Generative Pre-trained Transformers 後者のGPTs: General-Purpose Technologies なので、 事前学習済み文章生成型トランスフォーマーは汎用技術
![[翻訳] GPTs are GPTs: An Early Look at the Labor Market Impact Potential of Large Language Models (前編) - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/8ca14f607b958d50d13aa0b0cbf5bf4c4b835ddd/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JTVCJUU3JUJGJUJCJUU4JUE4JUIzJTVEJTIwR1BUcyUyMGFyZSUyMEdQVHMlM0ElMjBBbiUyMEVhcmx5JTIwTG9vayUyMGF0JTIwdGhlJTIwTGFib3IlMjBNYXJrZXQlMjBJbXBhY3QlMjBQb3RlbnRpYWwlMjBvZiUyMExhcmdlJTIwTGFuZ3VhZ2UlMjBNb2RlbHMlMjAlMjglRTIlODAlQTYmdHh0LWFsaWduPWxlZnQlMkN0b3AmdHh0LWNvbG9yPSUyMzFFMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT01NiZzPWE4N2VmMWZiZGFhMjgwY2Y5YmRmZDY5MTZkOTEzMmZi%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDB0YWthX3lheW9pJnR4dC1jb2xvcj0lMjMxRTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9MzYmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz02MGMzNTE2ZTA2ZWY3Y2ZmODYzYzFmYTk4M2U1YWNlMQ%26blend-x%3D142%26blend-y%3D486%26blend-mode%3Dnormal%26s%3Db7598402a399df65953e479ced8855fb)
GPT-4はどのようにして「不適切な回答」を回避するように学習されているのか - Qiita
先日OpenAIより発表されたGPT-4が話題ですが、同タイミングで公表されたTechnical Reportを読んでみたところ、全99ページのうち後半60ページを占めるドキュメント「GPT-4 System Card」において解説されていた、言語AIが抱える危険性と、いかにしてGPT-4が危険な回答を回避するように学習されているかについての内容が非常に興味深かったため、簡単にまとめてみました。 https://arxiv.org/pdf/2303.08774.pdf サマリ GPT-4のリリースに向けて、OpenAIでは安全性を評価するために50人超の専門家らを含む"レッドチーム"を結成。2022年8月から8ヶ月に渡ってリスクの評価とその軽減に向けたチューニングを実施してきた リスク評価における実験の中には「自身をコピーするプログラムを実行できるGPT-4が自己増殖をしないか確認する」と
ChatGPT APIの運用で必須のツール: LangChainの使い方まとめ (1) - Qiita
こんにちは！逆瀬川( https://twitter.com/gyakuse )です！ 今日はLangChainの使い方について書いていこうと思います。 ChatGPT API の欠点について LangChainについて書く前に、ChatGPT APIの使いづらい部分をまとめていきたいと思います。 これを考えておくと、なぜLangChainが必要であるかということがわかり、さらに今後どのような機能が搭載されうるか/されるべきかということがわかります。 ChatGPT APIを使う際の難しい部分は一般的に以下のようにまとめられます。 プロンプトの共通化や管理が面倒くさい 最近の事実をベースとした質問-応答が難しい 最大の入出力合計が4096トークン(約3000字)であるため、長い情報を持たせることがしづらい ExcelやCSV、PDF等を直接読み込ませることができない 出力の処理のチェーンの
言語の壁を打ち破る：GPT with 多言語インデックス - Qiita
この記事を読むと嬉しいこと 言語の壁を越えた、グローバルAIを作れます！ = GPTに英語と日本語、中国語、フランス語…の情報をまとめてインプットし、質問に答えさせることが出来ます！ """「Harry Potter（英語）」と「ぼっち・ざ・ろっく！」の情報をまとめて与えた後で質問をした時の回答""" # before index.query("ハリーの学校では、何を教えている？日本語で答えて") # -> ハリーの学校では、何を教えているかは不明です。 # after index.query("ハリーの学校では、何を教えている？日本語で答えて") # -> ハリーの学校では、魔法と魔法使いの学問を教えています。 背景・課題 今大人気のGPTに、外部情報を繋ぐGPT Indexが物凄い勢いで使われています。一方で、この仕組みを無邪気に使おうとすると、OpenAIに課金しまくることになり、お
OpenAI GPT-3を活用したレシピ紹介 - Qiita
※本記事は2022年6月13日に更新しました。 Axross Recipeを運営している松田です。 OpenAIが提供するGPT-3の概要とGPT-3を活用したレシピについて解説します。 GPT-3 GPTとは GPT（Generative Pretrained Transformer） は、2015年12月に設立された非営利の人工知能研究組織**「OpenAI」が開発している「文章生成言語モデル」**です。イーロン・マスクなど有力な実業家が出資し、2019年にはMicrosoft社が10億ドル投資したことでも注目を集めました。 OpenAI API GPT-3の特長 2020年5月にOpenAIの論文「Language Models are Few-Short Learners」の中で、GPT-2の後継モデルとしてGPT-3が発表されました。 超巨大なTransfomerベースのモデルを
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
エンジニアにも知って欲しいChatGPT基本テクニック - Qiita
