[翻訳]LLMで1年間開発して学んだこと〜LLMプロダクト開発を成功に導くための実践的ガイド〜
この記事は "What We’ve Learned From A Year of Building with LLMs" という記事を著者の一人である Eugene Yan さんから許可を得て翻訳したものです。 https://applied-llms.org/ Thank you for giving me a permission to translate this wonderful article! 著者の方々 Eugene Yan Bryan Bischof Charles Frye Hamel Husain Jason Liu Shreya Shankar 原文の公開日 2024/６/8 今は大規模言語モデル（LLM）を使った開発がとってもエキサイティングな時期です。この1年間で、LLMは実世界のアプリケーションに対して「十分に良い」ものになりました。そして、年々良くなり、安く
![[翻訳]LLMで1年間開発して学んだこと〜LLMプロダクト開発を成功に導くための実践的ガイド〜](https://cdn-ak-scissors.b.st-hatena.com/image/square/3636c7c8e7c838018a6e006d55b3f4b8d18f34cc/height=288;version=1;width=512/https%3A%2F%2Fres.cloudinary.com%2Fzenn%2Fimage%2Fupload%2Fs--7VM-vHg9--%2Fc_fit%252Cg_north_west%252Cl_text%3Anotosansjp-medium.otf_55%3A%25255B%2525E7%2525BF%2525BB%2525E8%2525A8%2525B3%25255DLLM%2525E3%252581%2525A71%2525E5%2525B9%2525B4%2525E9%252596%252593%2525E9%252596%25258B%2525E7%252599%2525BA%2525E3%252581%252597%2525E3%252581%2525A6%2525E5%2525AD%2525A6%2525E3%252582%252593%2525E3%252581%2525A0%2525E3%252581%252593%2525E3%252581%2525A8%2525E3%252580%25259CLLM%2525E3%252583%252597%2525E3%252583%2525AD%2525E3%252583%252580%2525E3%252582%2525AF%2525E3%252583%252588%2525E9%252596%25258B%2525E7%252599%2525BA%2525E3%252582%252592%2525E6%252588%252590%2525E5%25258A%25259F%2525E3%252581%2525AB%2525E5%2525B0%25258E%2525E3%252581%25258F%2525E3%252581%25259F%2525E3%252582%252581%2525E3%252581%2525AE%2525E5%2525AE%25259F%2525E8%2525B7%2525B5%2525E7%25259A%252584%2525E3%252582%2525AC%2525E3%252582%2525A4%2525E3%252583%252589%2525E3%252580%25259C%252Cw_1010%252Cx_90%252Cy_100%2Fg_south_west%252Cl_text%3Anotosansjp-medium.otf_37%3Aseya%252Cx_203%252Cy_121%2Fg_south_west%252Ch_90%252Cl_fetch%3AaHR0cHM6Ly9zdG9yYWdlLmdvb2dsZWFwaXMuY29tL3plbm4tdXNlci11cGxvYWQvYXZhdGFyL2QzODg4YjM0MzEuanBlZw%3D%3D%252Cr_max%252Cw_90%252Cx_87%252Cy_95%2Fv1627283836%2Fdefault%2Fog-base-w1200-v2.png)
「◯◯GPT」や「ChatGPT搭載」はNG 米OpenAIがブランドガイドライン公開
米OpneAIは現地時間4月24日、ChatGPTなどOpenAIブランドを利用する際のガイドラインを公開した。ロゴマークやその利用方法、また「ChatGPT」などの文言を利用する際の注意点が記されている。 例えば、OpenAIのAPIを利用した製品について「◯◯GPT」「GPT-4搭載の◯◯」「ChatGPT搭載の◯◯」といった表現は使わず、「Powered by GPT-4」や「Built with GPT-4」などの表現を使うよう求めている。また、OpenAIのモデルを指すときはGPT-3、GPT-4、ChatGPT、DALL・Eを使い、Ada、Babbage、Curie、Davinci、GPT-3.5-turboなどのエンジン名を避けるようにとしている。
OpenAIがWebクローラー「GPTBot」の文書を公開、クロールを禁止するには？
OpenAIがWebクローラー「GPTBot」の文書を公開した。GPTBotはOpenAIが使用するWebクローラーで、クロールされたWebページは、OpenAIのAIモデルを改善するために使用される可能性がある。 OpenAIは「GPTBotがWebサイトにアクセスできるようにすると、AIモデルの精度が向上し、一般的な機能と安全性が向上する。（一方で、）ペイウォールアクセスを必要とするソース、個人を特定できる情報（PII）を収集することが知られているソース、またはポリシーに違反するテキストを含むソースを削除するためにフィルタリングする」としている。 関連記事 Zoom「顧客の同意なしに、AIモデルのトレーニングに顧客コンテンツを使用することはない」と発表 Zoomの最高プロダクト責任者が「Zoomの利用規約は、同意なくユーザーコンテンツをAIトレーニングに利用できる」という技術系情報サイ
ChatGPT の仕組みを理解する（後編） - ABEJA Tech Blog
こちらは「ChatGPT の仕組みを理解する」の後編記事になります。 前編は以下の記事をご参照ください。 tech-blog.abeja.asia 前半記事では、自然言語の基礎的な部分から GPT-3.5 まで説明していきました。GPT-3.5 の次としては、ChatGPT の元になっている InstructGPT を説明したいところなんですが、InstructGPT では強化学習の手法を使用しているので、後半記事では一旦自然言語から離れて強化学習の基礎から PPO までを説明し、最後にメインコンテンツである InstructGPT → ChatGPT を説明します。 強化学習の基礎事項 強化学習のモデル化 環境のマルコフ性とマルコフ決定過程（MDP） 価値関数 強化学習手法の分類 価値ベースの強化学習手法 方策ベースの強化学習手法と方策勾配法 アクター・クリティック手法 TRPO [Tr
ChatGPT の仕組みを理解する（前編） - ABEJA Tech Blog
こんにちは！株式会社 ABEJA で ABEJA Platform 開発を行っている坂井（@Yagami360）です。世間では ChatGPT などの大規模言語モデル（LLM）による対話型 AI が盛り上がってますね。クオリティーも凄いし AI 業界以外でも盛り上がってると嬉しいですよね。この数年で一段と AI の社会実装が業界以外の人にも目に見える形で進んできたなあと実感しております。 自分は普段業務では ABEJA Platform という AI プロダクトやその周辺プロダクトのバックエンド開発とフロントエンド開発をやっているのですが、AI 業界所属していながら ChatGPT などの LLM 全然追いかけれていない状態になっちゃてて自責の念にかられているので、このブログ執筆という良い機会に ChatGPT の仕組みについて調べてみました。 本記事の対象読者としては、以下のようになりま
ChatGPT - LLMシステム開発大全
ChatGPTとLLMシステム開発について纏めた187ページ資料です。 2024/04 名称を改め資料を大幅にアップデートしました！ 今後も随時更新していきます。 データサイエンティスト協会での発表動画はこちら。 https://youtu.be/l9fpxtz22JU Build Japanでの発表はこちら。 https://youtu.be/UEZzx6a005g?si=Ot8EO2bv8yhQQEcy 2023/7/28 体裁修正、余計なページを削除 2023/12/12 RAG、API仕様、モデルのページを追加。また情報を最新化。 2024/04 名称を改め資料を大幅にアップデートしました！ 1. LLM - GPTの全体像 LLM - GPT とは何なのか ～チャットAIを例にした動作イメージ～ 大規模言語モデル(LLM)が持つ基礎能力 デジタルツールとLLMの連携 GPTに関す
ChatGPTの頭をよくするメタ認知プロンプトとメタメタ認知プロンプトなどの検証｜IT navi
１．メタ認知プロンプトとは？メタ認知プロンプトとは、以下の論文「メタ認知プロンプティングは大規模言語モデルの理解を向上させる」で提案された、人間の内省的推論プロセスに着想を得たプロンプトであり、標準的なプロンプトや思考連鎖（Chain of Thought）プロンプトなどの手法を常に凌駕する結果が得られたとのことです。 メタ認知とは、自分が認知していることを認知すること、つまり、自分が行っている行動や思考を客観的に把握し、制御することを指します。このメタ認知能力によって、冷静な判断を可能にしたり、問題解決能力を向上させたりすることができると言われています。 この論文では、メタ認知プロンプトについて、次のように説明しています。 メタ認知プロンプトは、人間のメタ認知能力の一部をまねたもので、以下の５つの段階から構成されています。 １．入力テキストを理解 ２．予備的な判断を実施 ３．この予備的な
Prompt Engineering Guide – Nextra
Prompt Engineering Guide Prompt engineering is a relatively new discipline for developing and optimizing prompts to efficiently use language models (LMs) for a wide variety of applications and research topics. Prompt engineering skills help to better understand the capabilities and limitations of large language models (LLMs). Researchers use prompt engineering to improve the capacity of LLMs on a
ChatGPT開発元のOpenAIが推奨！期待通りの回答を得るプロンプトのコツ10選
チャットGPTから期待する回答結果を引き出すには、質問となるプロンプトの内容や入力方法に工夫が必要です。この記事では、チャットGPTを開発しているOpenAIが推奨する質問のテクニックから、重要なものを「10選」としてまとめて紹介します。 OpenAIが推奨する質問方法を参考にしよう ChatGPTに質問したところ「期待していた回答ではない」と思ったことはありませんか？質問の仕方を変えることで、求めていた回答を得られやすくなります。 この記事では、ChatGPTの開発元であるOpenAIが推奨する質問方法「GPT best practice」（GPTベストプラクティス）に基づき、期待通りの回答を得るために重要な質問のテクニックを「10選」としてまとめて紹介します。 GPT best practices（英文） 1．明確な指示を含めて質問する 求めた回答の精度を高めるには、プロンプトに詳細情
GitHub - geekan/MetaGPT: 🌟 The Multi-Agent Framework: First AI Software Company, Towards Natural Language Programming
🚀 Mar. 29, 2024: v0.8.0 released. Now you can use Data Interpreter via pypi package import. Meanwhile, we integrated RAG module and supported multiple new LLMs. 🚀 Mar. 14, 2024: Our Data Interpreter paper is on arxiv. Check the example and code! 🚀 Feb. 08, 2024: v0.7.0 released, supporting assigning different LLMs to different Roles. We also introduced Data Interpreter, a powerful agent capable
社内文書に特化したChatGPT ファインチューニング実践編 | DOORS DX
ゼロイチのデータ分析に強みをもつデータサイエンティスト。学術研究の経験を背景に、前職では計算科学コンサルタントとシステムエンジニアを兼務。ＡＩサービス事業を立ち上げ、企画からマーケティングまでを統括。ブレインパッドでは、材料開発・売上改善・特許請求に関するデータ活用の要件定義・分析・プロトタイプ開発を主導。ビジネス・アナリティクス・エンジニアリングの横断的な経験を活かし、未開拓分野のデータ活用に突破口を見出す。 ChatGPT の強みと弱み ChatGPT (Generative Pre-Trained Transformer) は、インターネット上の膨大な文書を事前学習した生成系チャット AI です。2022年に登場した ChatGPT は、人とのコミュニケーションを高いレベルで実現しています。たとえば、みなさんの中には、すでに日常で次のような使い方をしている方もいらっしゃると思います。
[OpenAI] Function callingで遊んでみたら本質が見えてきたのでまとめてみた | DevelopersIO
ChatGPT、皆さん遊んで活用してますか！？ 0613のモデルと並んで発表されたFunction callingの機能を使って遊んでみました。 「自然言語でリクエストを投げつければ内部で関数が実行されて正確な計算ができる！？」みたいな雑すぎる理解しかしていなかったので、 どんなことができるのかな？と思って試してみました。 試してみた結果、Function callingは関数を実行してくれる機能じゃない！（極論）ということがわかったので、 その辺について考察してみたいと思います。 前提として、OpenAI APIを用いたChatGPTの利用方法については基本を理解しているものとしています。 具体的には、以前私が書いたこのブログの内容が何となく理解できてれば十分だと思います。 [初心者向き] OpenAI APIを使ってPythonでChatGPT遊びするための最初の三歩くらい また、こち
![[OpenAI] Function callingで遊んでみたら本質が見えてきたのでまとめてみた | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/5c1e7d69a330d74b919a52ae9d3a24612acf3ace/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2023%2F04%2Feyecatch_openai_1200x630.png)
ChatGPT, Bing AI, BardはWeb制作者を助けてくれるAIとなるか？
ChatGPT, Bing AI, Bardは大規模言語モデルと呼ばれ、一般的には「チャットAI」や「会話AI」などと呼ばれます。 これらは様々な調べごとや、ちょっとした作業をするのにも適してるということは既にご存じだと思います。 Web制作者はもちろん、Web制作やプログラミングなどを勉強中の方も、ChatGPTなどの大規模言語モデルを使いこなすことで学習や仕事をスムーズに進めたり、あるいは手助けになりそうな予感がしたので、色々と試してみました。 これはAIをイメージしたAI生成画像です。この記事からメルマガ登録 すると、このような画像素材をプレゼントします。 今回試した大規模言語モデル ChatGPT(3.5 turbo): 無料で利用できるChatGPTの基本モデルです。2021年9月までの情報をもとに学習しています。 GPT-4: ChatGPT Plusに加入し、月額20ドル支払
ChatGPT APIを取り巻くライブラリ 〜LangChainとguidanceの紹介 | gihyo.jp
こんにちは！ 逆瀬川（@gyakuse）です！ 前回はOpenAIが公開しているChat APIとWhisper APIを用いて議事録文字起こしアプリケーションを作ってみました。今回は、Chat APIを便利に使うためのライブラリであるLangChainとguidanceを紹介していきます。 なぜ便利に使うためのライブラリが必要なのか？ 単純にChat APIにリクエストを送るだけであれば、各言語に用意されたライブラリを使うだけで良いでしょう。たとえば、Pythonにおいてはopenai-pythonが用意されています。前回紹介したとおり、Chat APIを使うだけなら以下のようなリクエストを作るだけで済みます。 import openai openai.api_key = "sk-..." # APIキー completion = openai.ChatCompletion.create
三流は情報収集に使い､二流は自分がラクをするために使う…一流の人の｢スゴいChatGPTの使い方｣ 自分の能力を上げてくれるコーチ､トレーナーの役割
AIチャットボット「ChatGPT」が注目を集めている。どのように仕事に活用すればよいのか。初期の頃からChatGPTを“使い倒している”という深津貴之さんは「ChatGPTは、結構知ったかぶりしてウソをついたりするので、検索エンジンのように使うのはお勧めしない。しかし、コツを押さえて使うと、アシスタントのように使えて仕事にとても役立つ」という――。 ChatGPTは「確率で話す」 ChatGPTの最大の特徴は「コンピューター言語（プログラミング言語）などではなく、人間の使う言葉で命令でき、回答してくれること」です。 うまく使えば、仕事の効率化や高度化が実現しますが、そのためにはChatGPTにできることとできないこと、またChatGPTの得意なことと不得意なことを理解する必要があります。 まず覚えておきたいのは、「ChatGPTは確率でしゃべるマシンである」ということです。基本的には、こ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ChatGPT�人間のフィードバックから強化学習した対話AI
ChatGPTの10ヶ月と開発トレンドの現在地
GitHub - ugorsahin/TalkingHeads: A library to communicate with ChatGPT, Claude, Copilot, Gemini, HuggingChat, and Pi
GitHub - gpt-engineer-org/gpt-engineer: Specify what you want it to build, the AI asks for clarification, and then builds it.
Gamma App: Generate AI Presentations, Webpages & Docs
