RAGは検索エンジンが命！Azure AI Search初心者入門 - Qiita
はじめに こんにちは！ AI エンジニアのヤマゾーです。 近年、生成 AI の進化が目覚ましく、生成 AI を活用したシステムの開発が盛んに行われています。その中で最も有名なテクニックが RAG です。RAG というのは検索拡張生成 (Retrieval Augmented Generation) の略で、質問の関連情報を検索し、質問と関連情報をセットで入力して回答させる技術のことです。 各企業ではこの RAG システムを積極的に導入していますが、ほぼ確実に課題になるのが検索部分の精度です。そして検索精度を上げるためには検索エンジンの知識が必要不可欠です。 本記事では検索エンジンの筆頭サービスである Azure AI Search を題材に、検索エンジンの基本的な仕組みや検索クエリの書き方について初学者向けに解説します。 RAG の検索部分を "Retriever" と呼びますが、この語源
[翻訳]LLMで1年間開発して学んだこと〜LLMプロダクト開発を成功に導くための実践的ガイド〜
この記事は "What We’ve Learned From A Year of Building with LLMs" という記事を著者の一人である Eugene Yan さんから許可を得て翻訳したものです。 https://applied-llms.org/ Thank you for giving me a permission to translate this wonderful article! 著者の方々 Eugene Yan Bryan Bischof Charles Frye Hamel Husain Jason Liu Shreya Shankar 原文の公開日 2024/６/8 今は大規模言語モデル（LLM）を使った開発がとってもエキサイティングな時期です。この1年間で、LLMは実世界のアプリケーションに対して「十分に良い」ものになりました。そして、年々良くなり、安く
![[翻訳]LLMで1年間開発して学んだこと〜LLMプロダクト開発を成功に導くための実践的ガイド〜](https://cdn-ak-scissors.b.st-hatena.com/image/square/3636c7c8e7c838018a6e006d55b3f4b8d18f34cc/height=288;version=1;width=512/https%3A%2F%2Fres.cloudinary.com%2Fzenn%2Fimage%2Fupload%2Fs--7VM-vHg9--%2Fc_fit%252Cg_north_west%252Cl_text%3Anotosansjp-medium.otf_55%3A%25255B%2525E7%2525BF%2525BB%2525E8%2525A8%2525B3%25255DLLM%2525E3%252581%2525A71%2525E5%2525B9%2525B4%2525E9%252596%252593%2525E9%252596%25258B%2525E7%252599%2525BA%2525E3%252581%252597%2525E3%252581%2525A6%2525E5%2525AD%2525A6%2525E3%252582%252593%2525E3%252581%2525A0%2525E3%252581%252593%2525E3%252581%2525A8%2525E3%252580%25259CLLM%2525E3%252583%252597%2525E3%252583%2525AD%2525E3%252583%252580%2525E3%252582%2525AF%2525E3%252583%252588%2525E9%252596%25258B%2525E7%252599%2525BA%2525E3%252582%252592%2525E6%252588%252590%2525E5%25258A%25259F%2525E3%252581%2525AB%2525E5%2525B0%25258E%2525E3%252581%25258F%2525E3%252581%25259F%2525E3%252582%252581%2525E3%252581%2525AE%2525E5%2525AE%25259F%2525E8%2525B7%2525B5%2525E7%25259A%252584%2525E3%252582%2525AC%2525E3%252582%2525A4%2525E3%252583%252589%2525E3%252580%25259C%252Cw_1010%252Cx_90%252Cy_100%2Fg_south_west%252Cl_text%3Anotosansjp-medium.otf_37%3Aseya%252Cx_203%252Cy_121%2Fg_south_west%252Ch_90%252Cl_fetch%3AaHR0cHM6Ly9zdG9yYWdlLmdvb2dsZWFwaXMuY29tL3plbm4tdXNlci11cGxvYWQvYXZhdGFyL2QzODg4YjM0MzEuanBlZw%3D%3D%252Cr_max%252Cw_90%252Cx_87%252Cy_95%2Fv1627283836%2Fdefault%2Fog-base-w1200-v2.png)
AI裏垢女子に気を付けろ(ディープフェイクで裏垢動画を作ってみた)｜山野祐介
私事ですが、骨折して２か月ほど半寝たきり＆半引きこもり生活をしていました(動かな過ぎて痔になった)。なので連載以外は全く何もせず過ごしていたんですが、若干余裕が出てきたのでリハビリがてらnoteで好きなことを書きます で……久々にXを見て「おすすめ」タブに表示されていた裏垢女子を一度見たら、それからずっと出てくるようになってしまった。 裏垢女子というのは、一般的には性的な内容のポストや画像の投稿をあけすけに行い、会って性行為に及ぶのもやぶさかではない……みたいな女性ユーザーのことを指すが、体感では純粋に性的な出会いを求めている人は0.2%くらいではないかと思う。 残りの99.8%は ・「ここで連絡先交換してます♥」とか言われて詐欺の出会い系(会えることや資金譲渡をエサに入金を何度もせびられる)に誘導される ・DMで交通費やホテル代などの名目で「PayPayやAmazonギフト券をくれたら会
RAGの実案件に取り組んできた今までの知見をまとめてみた | DevelopersIO
はじめに 新規事業部 生成AIチーム 山本です。 ChatGPT（OpenAI API）をはじめとしたAIの言語モデル（Large Language Model：以下、LLM）を使用して、チャットボットを構築するケースが増えています。通常、LLMが学習したときのデータに含まれている内容以外に関する質問には回答ができません。そのため、例えば社内システムに関するチャットボットを作成しようとしても、素のLLMでは質問に対してわからないという回答や異なる知識に基づいた回答が（当然ながら）得られてしまいます。 この問題を解決する方法として、Retrieval Augmented Generation（以下、RAG）という手法がよく使用されます。RAGでは、ユーザからの質問に回答するために必要そうな内容が書かれた文章を検索し、その文章をLLMへの入力（プロンプト）に付け加えて渡すことで、ユーザが欲しい
DALLE3 (ダリスリー) の無料教科書:初級編｜プチpony
DALL-E3を実装日からほぼ毎日使用し面白さにとりつかれています。何となくで触っているため, いまいち思った画像が出来ないことも多々ありましたので今回まじめに作成法を勉強してみました。初級編と名前がついているのは高等テクニックを教えるほどの技術がないだけで後に上級編が控えているという意味ではないです。 0. はじめに DALL-E とはシンプルなテキストのみで画像がつくれるAIです。 簡単なテキストのみで画像生成語源は『ウォーリー探せ』と芸術家の『ダリ』から来ているみたいです。ウィーリーはある種の「探し物」をする, userが提示するテキストのプロンプトから隠された要素やまだ見ぬ画像を「探し出し」生成することらしいです。 ウォーリーをインスパイアした少年1. 問題点, 主に著作権やはり何と言っても著作権問題ではないでしょうか。現在法整備が進行しているところです。OpenAIはコンテンツポ
LLMのプロンプト技術まとめ - Qiita
現在，34個掲載(一部執筆途中) Xのアカウント@fuyu_quantでも技術系の投稿をしているのでよかったらフォローしてください！ はじめに 今回はすぐに使えそうなプロンプトの工夫やフレームワークについて有名なものをまとめました．LMの出力の精度向上に役立てられればと思います． 論文があるものについてはarXivに最初に投稿された順番で掲載しています． 論文で精度向上が確認されているのは英語での検証がほとんどであるため，日本語で改善されるかは分かりません． 全てのLLM(GPT-4,Llama2,...)で精度が改善するとは限りません． ※記事に誤り等ありましたらご指摘いただけますと幸いです． 以下の記事では敵対的プロンプト技術をまとめています！ 目次 Zero-shot prompting Few-shot prompting 2021年〜 Generated Knowledge Pr
【イラストAI】ノイズやテクスチャを使って描き込み量をめちゃくちゃに増やそう！2/4【ノイズ法】｜御月望未（みつきのぞみ）
イラストのディテールを大幅に引き上げる、StableDiffusion向けの特殊なテクニックをご紹介します。（全4回） 前回までのあらすじ前回の記事の経緯で、 「ノイズをControlNetに流し込むことで、描き込み量や色彩を大幅に強調できる」事が判明しました。 今回はその知見を使って、実際に画像を出力していきましょう！ 【チュートリアル】ControlNetにノイズを流し込んで描き込み量を変更しよう！では早速、ControlNetを使って画像の描き込み量を増加させてみましょう！ ひとまず、プロンプトは少なめで抽象的な絵を出してみましょう。 ステップ1：ひとまず描き込み量を増やしてみよう！ 今回使うノイズ画像くん。彩度を強調してありますControlNetをインストールします。 サンプラーなどを通常通り設定します。cfgは4～7くらいにしてください。高いと効果が強く出過ぎる場合があります。
ChatGPTでstep by stepもロールプレイもやめたらプロダクト開発で使える精度になったよ｜MRYY
プロダクトマネジメントのコーチをしています。プロダクト開発の中でもGPT4を使うケースが増え、相談されることが増えてきました。 ChatGPTのGPT4を用いた際の、専門家として信用できる精度で推論させるための工夫の一部を紹介します。精度が必要な専門職かつ中級者向けになると思います。「機密情報の入力をどうさけるか」といった運用の話は今回はしません。 やったことと起きたこと一通り論文を読んで試したり、試行錯誤しました。 その結果、専門家として業務レベルで使える程度のものができるようになってきました。 クライアントのプロンプトを添削する仕事も増えつつあります。副作用として、日本語なのに日本語と感じられない自然言語に目覚めてきました。この片鱗についてお話しします。 分かったこと分かったこととして、精度を業務レベルで用いるためにまずはじめにとりくむことは下記です。 ・接待モードを切る ・指示の質が
AIが勝手に議論を深めてくれる弁証法エンジンの構築｜深津 貴之 (fladdict)
AI哲学者ヘーゲルさんに、無限に議論を思索してもらえる穢土転生コードを書いてみた。GPT3.5でも4でも動きます。 弁証法ってなに？ヘーゲルって哲学者おっさんが考えた、思索を深めるメソッド。 ある意見（テーゼ）に対して、あえて反対意見（アンチテーゼ）をいって、それから意見と反対意見を統合（ジンテーゼ）することで議論が深まるよ…というもの。 ・筋トレは健康によい（命題 = テーゼ） ・筋トレで体を壊すこともある（反対命題 = アンチテーゼ） ・筋トレは健康によいが、やりすぎや間違った方法には注意しなければいけない（総合命題=ジンテーゼ） みたいな考えかた。 以下、勝手に無限ループでヘーゲル先生が、弁証法を繰り返してくれるプロンプトです。 弁証法エンジンのプロンプトあなたはヘーゲルの仮想人格として振る舞う、形而上の弁証法シミュレーターです。 ユーザーの入力「仕事にいかずにゲームをしていたい」に
ChatGPTは馬鹿じゃない！ 真の実力を解放するプロンプトエンジニアリングの最前線
はじめに ChatGPTをはじめとしたLLMを使いこなすための必須スキル、プロンプトエンジニアリング について解説します。 最近は動きが早すぎてキャッチアップが難しくなっていますが、特に以下のような手法が注目されているようです。 In-context Learning (ICL) Chain-of Thought (CoT) Zero-shot CoT ReAct Self-Consistency Program-aided Language Model (PAL) 今回は、6つのテクニックの中からPart1として、ICL、CoT、そしてZero-shot CoTの3つを紹介します。 これらのテクニックは、ChatGPTをはじめとするLLMのポテンシャルを最大限に引き出すために必要不可欠です。 さらに、各テクニックを詳しく解説した論文も紹介していますので、是非ご一読ください。 In-con
ChatGPTが賢くなる！noteの深津さん考案「深津式汎用プロンプト」でChatGPTが劇的に使いやすくなった！ - ディレイマニア
ChatGPTは「手前の文に確率的にありそうな続きの文字を繋げるAI」 まず最初にChatGPTの仕組みについて。 深津さんによるとChatGPTは、「手前の文に確率的にありそうな続きの文字をどんどん繋げていくAIである」とのこと。 例えば「昔々」という入力に対して、確率的にありそうな続きの文字は「あるところに」であるという具合に、続きそうな文字をただ出してくれるAIなんだそうです。 これを誤解していると求めているような回答がなかなか得られないので、ChatGPTに自分が求めている回答してもらうためには、確率的にありそうな続きの文字を出す方向性を狭めていくような質問をする必要があるそうなんですね。
midjourney、AI画像生成のプロンプトを考える。(AIアート初心者向け)｜852話
この記事は初心者向けです。 こんにちは。852話(ハコニワ)です。 皆様AIアート楽しんでいるでしょうか？ テキスト入力で画像を生成してもらえる夢のような時代ですね。 でも実際AI画像生成サービスを利用して、皆さん思ったんじゃないでしょうか。 「なんか変なのしか生成されない！」 プロンプトを探すのって結構面倒です。midjourneyは公式サイトのfeedやranking、検索からコマンドプロンプトを探したり出来ますし、stable diffusionもプロンプト検索サイトも色々あります。画像からプロンプトを抽出してくれるサイトなんかもあります。 「でも面倒くさい！ もっと攻略本的なサイトないの！？」 って結構思ってる人がいるんじゃないでしょうか。 そういう面倒くさがり向けの、要点のみを押さえた汎用プロンプトをまとめました。コピーペースト切ったり貼ったりで"それっぽい"ものを作ってみましょ
Midjourney/Memeplex(StableDiffusion)などの画像生成AIで思い通りの画像を出すヒント｜shi3z
このnoteの収益を使ってStable Diffusionを使ったWebサービス https://memeplex.appを公開しました。誰でも無料で何枚でもAI作画をすることができます(そのかわり、混み合ってる時は時間がかかると思います)。 このnoteで学んだことをぜひ活用して、AIによる新しい時代の風を感じてください。 また、本文中にMidjourney、StableDiffusion、DreamStudio、Memeplexなどの言葉が頻出するため、全面的な修正を行うことにしました。StableDiffusionに統一しておきたいと思います。 現状(2022/8/28)は、StableDiffusion=DreamStudio/Memeplexと考えて構いません。Memeplexは将来的にStableDiffusion以外のアルゴリズムもサポートする予定だからです。
経験ゼロから始めるAI開発 - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 本記事について 本記事は2019/5/24に開催した「経験ゼロから始めるAI開発/イラスト評価AIの仕組み解説セミナー」の内容についてまとめたものです。 記事概要 本記事はAI・機械学習について素人の状態から、業務で使用するAIシステムを開発するまでのプロセスや勉強方法について解説します。また、実際に開発したイラスト評価AIの仕組みについても概要を説明します。 これからAI技術を使ったプロジェクトを始める方、AI・機械学習の勉強を始める方を対象とした記事になります。 何を作ったのか 制作されたキャラクターイラスト画像に使われている塗り方
【保存版・初心者向け】独学でAIエンジニアになりたい人向けのオススメの勉強方法 - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 追記 【2020年版・初心者向け】独学でAIエンジニアになりたい人向けのオススメの勉強方法 【保存版・初心者向け】独学でAIエンジニアになりたい人向けのオススメのAI勉強方法 また、Pythonや機械学習がオンライン上で学べるAI Academyをnoteでも書きましたが、3/17日からほとんどのコンテンツを永続的に無料で利用できるよう致しましたので、是非使って頂けますと幸いです。 AI Academy Bootcamp 我々が提供している個人向けオンラインAIブートキャンプのご紹介です。 AI Academy Bootcamp AI
AIのプロジェクトを始めるとぶち当たる5つのハードル - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? 現在AIに対して多くの人がもつイメージとして、Over Estimate(過剰な期待) とUnder Estimate(過小な期待)という問題があります。Over Estimate(過剰な期待)はAIを使うと全ての問題が自動的に解決されるというもので、Under Estimate(過小な期待)はAIを使えば実は簡単に解決される問題なのにそのことに気づいてもいないということです。 今日では、比較的簡単にAIを使うことのできるツールがたくさんあるので、こうした機会を利用して、自分たちのデータをもとにどんどん使ってみて、AIを使うと実際に何が
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Stable Diffusion WebUI 忘備録｜かたらぎ
GPT4内のプログラム、地味に特許とろうと温めてたけど、間に合わなさそうなのでもう出しちゃお。 以下みたいに書くと、雑なプロンプトでも勝手に高品質になる。
NovelAIを少しだけしか触ってない人に色々説明1（ざっくり知識編）｜852話｜note