はじめに ChatGPTをはじめとしたLLMを使いこなすための必須スキル、プロンプトエンジニアリング について解説します。 最近は動きが早すぎてキャッチアップが難しくなっていますが、特に以下のような手法が注目されているようです。 In-context Learning (ICL) Chain-of Thought (CoT) Zero-shot CoT ReAct Self-Consistency Program-aided Language Model (PAL) 今回は、6つのテクニックの中からPart1として、ICL、CoT、そしてZero-shot CoTの3つを紹介します。 これらのテクニックは、ChatGPTをはじめとするLLMのポテンシャルを最大限に引き出すために必要不可欠です。 さらに、各テクニックを詳しく解説した論文も紹介していますので、是非ご一読ください。 In-con
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめまして、sonesuke( https://twitter.com/sonesuke ) です。 LLMのニュースを追っかけ続けたので、これからキャッチアップする人用にまとめておきます。 単発のプロンプトテクニックについてはこちらご覧ください。 これだけは知っとけ用語 各手法の説明を読む前に、これらの用語を読んでおくと各手法がわかります。知っている人は飛ばしてください。 プロンプトエンジニアリング 入力(プロンプト)を工夫して性能をあげようというアプローチ。 機械学習系で精度アップといえば、追加学習させたりモデルを拡張するのですが
資料を和訳したのは、HRテック事業などを手掛けるギブリー(東京都渋谷区)の取締役を務める新田章太さん。翻訳作業にもGPT-4を活用したとし「日本語翻訳をよりナチュラルにできるよう、プロンプティングしながら作業したので、実質の翻訳作業はたった1日で終わった」と説明している。 関連記事 東大松尾教授が答える、ChatGPTとは何なのか? 一問一答 国内におけるAIの権威である東京大学の松尾豊教授は、ChatGPTをどう見ているのか? ChatGPTは、一時的なトレンドか技術的転換点か、AI研究者から見てChatGPTは? 日本もLLMを作ったほうがいいのか? といった問に答えた GPT-4にGPT-4の発表を要約させてみた 人間よりも良い記事になるか? 超長文をChatGPTに読ませる方法も 米OpenAIの大規模言語モデル「GPT-4」。言語処理性能がずば抜けているというが、ではGPT-4は
ChatGPT をはじめとした AIモデルを上手に活用するためには、プロンプトと呼ばれる指示文の形式が非常に重要です。 モデルの訓練方法やデータによって、最適なプロンプト形式は異なります。 この記事では、OpenAIの英語の記事(リンク:https://help.openai.com/en/articles/6654000-best-practices-for-prompt-engineering-with-openai-api) を参考にしながら、一般的に良い結果が得られるプロンプト形式をいくつか紹介しています。 元の英語の記事を日本語に翻訳し、さらに詳しい具体例を追加することで、より理解しやすくなっています。 最適なプロンプト形式はタスクによって異なるため、さまざまな形式を試してみることで、最善の結果を得ることができます。 基本的なルールと具体例 "{ }" は実際にユーザーがテキス
はじめに 社内で、具体的な業務ユースケースに即して実践的なプロンプトエンジニアリングをみんなで模索しまくる、みたいな勉強会のような企画を開催してみたところ、プロンプトエンジニアリングなんてもうわかりきったものだと思い込んでいましたが、意外と(やはり?)奥が深く、いろいろな学びが得られました。かいつまんで言うと以下のようなものです。 実践的なプロンプトを書くためのtips 一方通行的に、自然な流れで考えさせる。行ったり来たりさせない。 ステップを分けて、ステップごとにプロンプト自体を分けて一つずつ実行する。 決定論的な判断は、JSONやYAML形式で出力させ、計算可能なデータとして考えさせる。 Few Shotは実はそれほどこだわらなくてもいい。(どちらかと言えばステップ実行とかJSON/YAML思考のほうが効き、Few Shotはユースケースとプロンプトの組み合わせによってはよって効いたり
5. まとめ ― Prompt Engineering は“死”ではなく“吸収合併” Prompt Engineer = 職種 は消滅傾向。 Prompt Engineering = スキル は “AI と協働する全職種の共通知識” へ統合。 今後は「AI を使う力」より「AI に任せて監督する力」がキャリアの差別化要因となる。 感想 前回の記事の締めにも書きましたが、「●●式」のようなoneプロンプトの技であったり、キーワードを駆使する等の技の部分を指す意味での「プロンプトエンジニアリング」は今後不要になっていくと思います。 ただ、生成AIと対話するアプローチに関しては、(エージェントによるサポートの進化はあれど)依然必要かと思います。 以下なども対話アプローチに関するTipsが多いです。 https://qiita.com/hokutoh/items/4a5447833721fe839
はじめに OpenAI API (ChatGPT含む) のプロンプトエンジニアリングのベストプラクティスが公式から出ているのを知り、和訳しながら読んでいきたいと思います! プロンプトエンジニアリング8箇条 (忙しい人向け) 最新のモデルを使用する 指示をプロンプトの最初に配置し、###または"""で指示と文脈を分ける 望む文脈、結果、長さ、形式、スタイルなどについて具体的で詳細に記述する 例を使って望む出力形式を明示する ゼロショットから始め、効果がなければファインチューニングを行う 曖昧で不正確な表現を減らす やってほしくないことだけでなく、代わりにやってほしいことも記述する コード生成には、特定のパターンに誘導する「leading words」を使用する How prompt engineering works (プロンプトエンジニアリングの仕組み) インストラクション・フォロー・モデ
簡単にいうと、LLMの仕組みを理解してLLMの気持ちになってどういうコンテキストを与えたらうまくいくのか?どうやれば安定したLLMプロダクトを開発できるのか?というLLMプロダクト開発の基本が書かれた本です。 内容はいささか古く(おそらく2024年中頃までに書かれている)、この本から即座に実践に入れる類いの本ではないので、まさに「教科書」です。この本を索引として、必要な知識を深掘りする必要性があります。 この本に書かれている知識のまま、知識更新を怠ると極めて危険です。いろいろな情報がアップデートされています。 この記事に間違いとか解釈違いとかあったら、是非ご連絡ください! コーディングエージェント使いが読むべきか? 非エンジニアが読むべきか? 内容の解説 という構成です。 コーディングーエージェント使いが読むべきか?最近コーディングエージェントを使う人が一気に増えました。そういったコーディ
LLMのプロンプトエンジニアリング ―GitHub Copilotを生んだ開発者が教える生成AIアプリケーション開発 作者:John Berryman,Albert Ziegler,服部 佑樹(翻訳),佐藤 直生(翻訳)オーム社Amazon LLMアプリケーションを作ることがなかったとしても、業務でAIを活用する上で大前提を知っておくと役立ちそうということで、「LLMのプロンプトエンジニアリング」を読んだ。 実際に読んでみると、紹介されているLLMの特性を知っておくと、AIコーディングなどにもかなり役立ちそうで良かった。 たとえばこの本に載っている以下のような特徴は非常に参考になる。 テキストを一度しか読めず後戻りできない。そのため先に書かれた内容のみを考慮して後に繋げる 気が散りやすい。「うまくいけば」役立つかもしれない無用な情報でプロンプトを埋めないようにする 人間であるあなたが完全に
はじめに こんにちは。宿泊プロダクト開発部の宮崎です。 みなさん、生成 AI 使ってますか? 近年、AI の進歩はめざましく、文章生成や画像生成はもちろん、動画生成も実用的なレベルで出来るようになっています。 ChatGPT が話題になったのが 2022 年の 11 月なので、たった 2 年足らずでここまで来ているという事実に少し恐ろしくもありますね。AGI(汎用人工知能)の実現もそう遠くないのかもしれません。 一休でも AI 技術は注目していて今年の 6 月に、まさに生成 AI を使ってホテル検索システムの改善を行いました。 この記事では、その時に学んだプロンプトエンジニアリングの重要性について書いていこうと思います。 生成 AI を使ったホテル検索システム 今回我々が実装したのはフリーワード・文章でもホテルを検索できるシステムです。 以下のようなユーザーの自由な入力に対して、適切なホテ
この本では、初心者・入門者の方に向けて、プロンプトエンジニアリングの知識や使い方を体系的にまとめました。 【概要】 ・内容:プロンプトエンジニアとは?、プロンプトエンジニアの必須スキル5選、プロンプトデザイン入門【質問テクニック10選】、LangChainの概要と使い方、LangChainのインストール方法【Python】、LangChainのインストール方法【JavaScript・TypeScript】、LCEL(LangChain Expression Language)の概要と使い方、LangSmithの概要と使い方【LLMOps】、LangServeの概要と使い方【API】、LangGraphの概要と使い方【Multi-Actor】、OpenGPTsの概要と使い方【OSS版のGPTs】、LangChain Evaluations【生成物の評価方法】、LangChain Hub、Op
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます 「ChatGPT」の公開をきっかけに、生成型の人工知能(AI)が大きなブームとなった結果、AI分野や雇用市場が急速に変化している。将来に向けた言語モデルの開発を推し進めたり、既存のモデルを洗練させられる人材は、プロンプトエンジニアも含めて引く手あまたとなっている。 AIに関する教育を提供するDeepLearning.AIはOpenAIと提携し、プロンプトエンジニアリングのための無料コースを開発者向けに提供すると発表した。 同社のウェブサイトによると、この無料の1時間コースは、強力なアプリケーションを新たに構築するための大規模言語モデル(LLM)の使用方法を教えるものだという。 講師は、OpenAIの技術スタッフであるIsa Fulfor
1.プロンプトエンジニアリングとは 1-1.プロンプトとは 1-2.プロンプトの構成要素 2.プロンプトエンジニアリングの代表的な手法 2-1.Zero-shot prompting 2-2.Few-shot prompting 2-3.CoT(Chain-of-Thought) Prompting 2-4.Zero-shot CoT 2-5.Self-Consistency 2-6.Generate Knowledge Prompting 2-7.ReAct 2-8.Directional-Stimulus -Prompting 2-9.Multimodal CoT Prompting 3.敵対的プロンプトエンジニアリングの代表的な手法 3-1.Prompt-Injection 3-2.Prompt-Leaking 3-3.Jailbreak 3-4.Do Anything Now 3-
こんにちは!逆瀬川 (@gyakuse) です! 今日は開発に使うときのプロンプトの例を紹介します。ただ、これは一例に過ぎず、もっと雑な表現や工夫されたプロンプトを使っても良いでしょう。大事なのは、どのように情報を与えるとうまくin-context learningしてくれそうか、ということを考えながらプロンプトを渡してあげることだと思います。 だいじなこと ChatGPTのGPT-4を使いましょう ChatGPTをそのまま使う場合、オプトアウト申請し、受理されたことを確認しましょう オプトアウトしていても他者に会話履歴が見える状態になる等のトラブルもあったため、API経由のほうが安全です 会社のプログラム等は情シス部門と連携を取り、会社のポリシーを検討をしましょう 実装を依頼するプロンプト 「行いたいこと」「処理の流れ」「参照ドキュメント」という順で書いてあげると良いです。 サンプルプロ
DeepMindによる最新の研究で、プロンプトエンジニアリングの新たな手法が発表されました。その手法は遺伝的アルゴリズムを用いてプロンプトを最適化するもので『Promptbreeder(プロンプトブリーダー)』と名付けられています。 Promptbreederは、従来のCoT(ステップバイステップ)手法を上回る性能を持つとされています。プロンプトエンジニアリングの分野において、新たな可能性を切り開くかもしれません。 参照論文情報 タイトル:Promptbreeder: Self-Referential Self-Improvement Via Prompt Evolution 著者:Chrisantha Fernando, Dylan Banarse, Henryk Michalewski, Simon Osindero, Tim Rocktäschel 所属:Google DeepMin
8月19日現在、Googleが公式に公開した「Prompt Engineering」と題するホワイトペーパーが、再び大きな注目を集めている。 Google公式のホワイトペーパーとは このホワイトペーパーは2024年9月にKaggleを通じて公開されたもので、著者はGoogleのLee Boonstra氏である。内容は、LLMに対する入力(プロンプト)設計を体系的に解説するもので、以下のような要素を含んでいる。 プロンプト設計の基礎 モデルの特性や学習データ、生成パラメータ(例:temperature)、語彙選択、文体やトーン、構造、コンテキストといった要素が出力の質に直結することを解説。 多様なプロンプト技法 Zero-shot、Few-shot、Chain of Thought(CoT)、Self-Consistency、Tree of Thoughts、ReAct、Automatic
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? はじめに DeepLearning.AIからPrompt Engineeringの講座「ChatGPT Prompt Engineering for Developers」が公開されました。なんとAndrew Ng氏(スタンフォード大学)とIsa Fulford氏(OpenAI)が講師。そして無料。 対象は初心者から上級者まで、計1時間ほどの動画で、実際に動かせる教材もセットになっており、教材の内容に目を通すだけでも参考になりました。サイト上では「期間限定無料」となっていたので、早めに覗いてみてください(2023/5/3時点) 以下、各
『LLMのプロンプトエンジニアリング』を読んだ 最近日本語翻訳が発売された書籍『LLMのプロンプトエンジニアリング ―GitHub Copilotを生んだ開発者が教える生成AIアプリケーション開発』を読みました。その感想です。 LLMのポテンシャルを最大限活かし、期待通りの精度の高いアウトプットを引き出すためには、LLMの能力や特性を正しく評価、把握し、綿密な設計に基づいたプロンプトを組み立てることが必要です。本書では、まずLLMを理解することから始め、その上で、プロンプトにはどんなことを組み込み、どのような構造にすべきか、本来の意味での「プロンプトエンジニアリング」を行う方法を説明しています。著者たちはGitHub Copilotの開発者であり、その実装過程で得られた貴重な知見や、評価手法、設計上の判断など、通常は表に出てこない開発の裏側も詳しく解説されています。AIアプリケーション開発
生成AIの活用が進む中で注目される、プロンプトエンジニアリングの包括的な解説書。精度が高く望ましい出力を生成AIから引き出すためにどうすべきか、GPT-3以降の知見をもとに、LLMや画像生成モデルに共通する原則と実践手法を体系化しています。原則の解説はもとより、ハルシネーション対策や出力の安定化、評価の視点など、現場で役立つ実践的な内容を多数収録。生成AIのツール群を使いこなす際に押さえるべき知識を広くカバーしています。Jupyter NotebookやGoogle Colab上で実際にサンプルコードを動かしながら学び進めることができ、最終章では、それまで学んだ知識をもとに実際に生成AIを活用したアプリケーションを構築します。 正誤表 ここで紹介する正誤表には、書籍発行後に気づいた誤植や更新された情報を掲載しています。以下のリストに記載の年月は、正誤表を作成し、増刷書籍を印刷した月です。お
本記事は、AI Tips連載の1本目の記事となります。 はじめにこんにちは。HealthCare Innovation Group(HIG)の山本竜玄です。 業務やプライベートを通して、GeminiやGitHub Copilot、Cursor、Claudeなどを使用していますが、これらのAIエージェントツールをうまく使うにはプロンプトエンジニアリングの知識が必要だと実感しています。 例えば、Few-Shot Prompting(数個の例を与えてつつ、同様のタスクを依頼する)であったり、Tree of Thoughts(複数の選択肢や段階を並行して評価・検討させる)などを意識すると、AIからの回答の質が大きく向上します。 これらの手法を勉強する中で、ふと思ったことがあります。プロンプトエンジニアリングで使われる思考法は、LLMへの指示だけでなく、人にタスクを依頼する際や、自分のスキル改善につ
いつの間にか春も過ぎ去りすっかり夏模様の今日この頃皆さんいかがお過ごしでしょうか?菅野です。 生成AIの重要性が高まり、生成AIで利用できるテキスト量が長くなるにつれてにつれて、プロンプトエンジニアリングの重要性が高まってきました。 プロンプトエンジニアリングとは、そのプロンプトにどのような命令、事前情報等を入力すると、より適した応答が返ってくるかを設計する技術です。 そんなプロンプトエンジニアリングを最適化する為のPythonライブラリ、SAMMOがMicrosoft社から2024年4月18日にリリースされたので紹介していきます。 www.microsoft.com SAMMOとは? Structure-Aware Multi-objective Metaprompt Optimizationの頭文字をとったフレームワークです。 元来、プロンプトエンジニアリングでは、エンジニアが、様々な
ITジャーナリスト 牧野 武文(まきの たけふみ) 生活とテクノロジー、ビジネスの関係を考えるITジャーナリスト、中国テックウォッチャー。著書に「Googleの正体」(マイコミ新書)、「任天堂ノスタルジー・横井軍平とその時代」(角川新書)など。 さまざまな分野で活用が進むChatGPT。基本的なコード生成や企画の素案作成、アイディア出しなどには有効なものの、質問に対して不正確な答えをすることに扱いづらさを感じている人も多い。 中国で最高レベルの科学技術学術機関である中国科学院などの研究によると、情熱的にお願いをすると、ChatGPTの解答の精度が上がることが明らかとなった。にわかには信じ難いこのメカニズム、一体どうなっているのだろうか。 keyboard_arrow_down 懇願をすると、回答の質が上がる? 興味深い対話型AIの研究 keyboard_arrow_down 複雑なタスクで
Last Updated on 2025-04-14 14:24 by admin Googleは2025年4月に、プロンプトエンジニアリングの中核概念とベストプラクティスを体系的に概説した69ページの包括的な白書を発表した。この文書は、開発者、研究者、AIの専門家向けに、大規模言語モデル(LLM)との対話を最適化し、生成コンテンツの品質と精度を向上させるための詳細なガイドを提供している。全文は以下、Kaggleにて掲載。 kaggle.com/whitepaper-prompt-engineering 白書では以下の主要なプロンプト技術について詳細に解説している ゼロショットプロンプティング ワンショットプロンプティング フューショットプロンプティング 思考連鎖(Chain-of-Thought、CoT) ReActプロンプティング コードプロンプティング また、プロンプトエンジニアリン
「ChatGPT Meetup」は、プロンプティングからOpenAI API、さらには周辺のライブラリやHubのエコシステムまで広く活用の助けになる知見を共有し、みんなで手を動かして楽しむためのコミュニティです。2回目に登壇したのは、JBアドバンスト・テクノロジー株式会社の新居田晃史氏。プロンプトエンジニアリングの実践について発表しました。 登壇者の自己紹介 新居田晃史氏:みなさんこんばんは。トップバッターということですが、僕はあまりMLに明るくない人なので、今から「ChatGPT」をいったん触ってみて、「この後何をしていったらいいんだろう?」みたいな、本当に初心者の人に向けてプロンプトエンジニアリングの話をしようかなと思います。よろしくお願いします。 (会場拍手) ちょっと自己紹介です。JBアドバンスト・テクノロジーという会社の先進技術研究所に所属しています。人よりちょっと走るのが速いで
ユーザーの立場ではAIネイティブな働き方が身近に迫っており、データサイエンティストやMLエンジニアにとってはGPTを活用した開発を意識する必要が出てくる中、マイクロソフトの取り組みやML開発のパラダイムシフトをご紹介する「ChatGPTによって描かれる未来とAI開発の変遷」。ここで日本マイクロソフト株式会社の蒲生氏が登壇。続いて、ML開発において、“学習させたかのように振る舞わせる”ためのアイデアを紹介します。前回はこちらから。 これまでのML開発は「学習」部分の工夫が肝だった蒲生弘郷氏:残り20分になりましたが、ちょっとここからは重い、GPT開発についてです。「ML開発の今まで」。「GPTはすごいしAzureの説明はわかったよ」という話になるんですが、実際にどう作ればいいのか知っていかないとなかなか厳しいところもあるので、ここの説明をしたいと思います。 ここから先はけっこう専門的な内容も
LLMのポテンシャルを最大限活かし、期待通りの精度の高いアウトプットを引き出すためには、LLMの能力や特性を正しく評価、把握し、綿密な設計に基づいたプロンプトを組み立てることが必要です。本書では、まずLLMを理解することから始め、その上で、プロンプトにはどんなことを組み込み、どのような構造にすべきか、本来の意味での「プロンプトエンジニアリング」を行う方法を説明しています。著者たちはGitHub Copilotの開発者であり、その実装過程で得られた貴重な知見や、評価手法、設計上の判断など、通常は表に出てこない開発の裏側も詳しく解説されています。AIアプリケーション開発の実際を知りたい開発者はもちろん、生成AIの可能性と限界を理解したいユーザーにとっても、示唆に富む内容となっています。 はじめに Ⅰ部 基礎 1章 プロンプトエンジニアリングの世界 1.1 LLMは魔法だ 1.2 言語モデル:私
OpenAIのサイトを眺めていたら、Prompt Engineeringのマニュアルが出来ていましたので、自身のメモ用として纏めてみました。 https://platform.openai.com/docs/guides/prompt-engineering プロンプトエンジニアリングのマニュアル構成は6つの戦略からなっております。 明確な指示を書く 参照テキストを提供する 複雑なタスクを簡単なサブタスクに分割する モデルに「考える」時間を与える 外部ツールを使用する システマティックに変更をテストする 言語定義として、戦略と戦術の違いは、戦略は、具体的な目標や計画であり、それらを実現するための具体的アクションが戦術です。 1.明確な指示を書く 戦術としては、以下があります。 質問を詳細にせよ ペルソナを設定せよ デリメーターを使用せよ 複雑なタスクのためにステップを踏め 例を与えよ 回
大規模言語モデル (LLM) は日進月歩で進化しており、日本語の理解能力についても多くの言語モデルがしのぎを削っています。先日PFNからも、日英2言語を併せた能力で世界トップレベルの性能を示す言語モデルPLaMo-13Bを公開*しました。 一方で、LLMを実際のタスクに適用する場合には、事前学習モデルやファインチューニングによる改善もさることながら、プロンプトの違いが性能を大きく左右します。本稿ではプロンプトを自動的にチューニングすることによって、LLMの能力を最大限に引き出し、与えられた課題の精度をどこまで高められるのかを検証します。 * 本稿で解説するプロンプトチューニング技術は、PLaMo-13B公開時の性能評価には用いていません。 プロンプトエンジニアリングについて LLMを使ったチャットシステムでは、ユーザーからの問い合わせ内容を改変してLLMに入力することがあります。例えば、図
ガートナージャパンは10月12日、「生成AIのハイプ・サイクル」2023年版を公開した。大規模言語モデル(LLM)やプロンプトエンジニアリングといった技術は「過度な期待のピーク」にあると指摘。一方でオープンソースのLLMやマルチモーダル(画像や言語など複数の入力ソースを扱える)な生成AIなどは黎明期にあるとした。 中でも「生成AIに対応したアプリケーション」や、大量のデータでトレーニングし、さまざまなタスクに適応可能な「ファウンデーション・モデル」(基盤モデル)、AIの信頼性を高めリスクに対応する取り組み「AI TRiSM」については「10年以内に組織に大きなインパクトを及ぼすと予測される」(同社)とコメント。 ファウンデーション・モデルとAI TRiSMについては普及のめども示した。前者は「2027年までに、ファウンデーション・モデルは自然言語処理 (NLP)のユースケースの60%を支え
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? タイトルは私の主張ではないです。 “Don’t Start a Career as an AI Prompt Engineer"「プロンプトエンジニアをめざすな」からの引用です。 https://spectrum.ieee.org/prompt-engineering-is-dead "AI Prompt Engineering Is Dead"というなかなかなタイトルの記事です。 3行で プロンプトエンジニアリング(LLMに最適な指示(プロンプト)を与え、望む出力を得るためのテクニック)はchatGPT登場あたりにめっちゃもてはやされ
本記事は、当社オウンドメディア「Doors」に移転しました。 約5秒後に自動的にリダイレクトします。 ブレインパッドは、LLM/Generative AIに関する研究プロジェクトを立ち上げ、この「Platinum Data Blog」を通じてLLM/Generative AIに関するさまざまな情報を発信をしています。今回は、プロンプトエンジニアリングをテーマに、1カ月ほど前に発表されたレビュー論文と関連論文を紹介します。 目次 今回のテーマ なぜプロンプトエンジニアリングが必要か? プロンプトエンジニアリング:基礎編 抑えておきたい考え方 明確に、正確に ハルシネーションスノーボール (Hallucination snowball) 1.1 ユーザーの要求を明確化するタイプ 1.2 LLMの知識を引き出すタイプ 2.1 直列型:推論ミスを減らすタイプ 2.2 並列型:出力の堅牢さを高めるタ
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く