▼会話のテーマ 「当社の商品A、B、Cの過去5年分のデータを調べ、今年の販売戦略を立てる。」 環境 Windows10 Python v3.11.4 主なlangchainライブラリバージョン ・langchain-core==0.1.27 ・langgraph==0.0.26 ・langchain==0.1.9 APIキー等の環境変数は、試したコードと同じフォルダに".env"ファイルを作り、その中に記述しています。 requirements.txt は、最後の方に載せています。 AZURE_OPENAI_TYPE = "azure" AZURE_OPENAI_KEY = "YOUR AZURE OPENAI KEY" azure_endpoint = "YOUR AZURE ENDPOINT URL" AZURE_OPENAI_DEPLOYMENT_NAME = "YOUR AZURE

1. はじめに 2024 年 5 月 14 日、OpenAI 社から新たな生成 AI「GPT-4o」が発表され、世界に大きな衝撃を与えました。これまでの GPT-4 よりも性能を向上させただけでなく1、音声や画像のリアルタイム処理も実現し、さらに応答速度が大幅に速くなりました。「ついにシンギュラリティが来てしまったか」「まるで SF の世界を生きているような感覚だ」という感想も見受けられました。 しかし、いくら生成 AI とはいえ、競技プログラミングの問題を解くのは非常に難しいです。なぜなら競技プログラミングでは、問題文を理解する能力、プログラムを実装する能力だけでなく、より速く答えを求められる解法 (アルゴリズム) を考える能力も要求されるからです。もし ChatGPT が競技プログラミングを出来るようになれば他のあらゆるタスクをこなせるだろう、と考える人もいます。 それでは、現代最強の

1.プロンプトエンジニアリングとは 1-1.プロンプトとは 1-2.プロンプトの構成要素 2.プロンプトエンジニアリングの代表的な手法 2-1.Zero-shot prompting 2-2.Few-shot prompting 2-3.CoT（Chain-of-Thought） Prompting 2-4.Zero-shot CoT 2-5.Self-Consistency 2-6.Generate Knowledge Prompting 2-7.ReAct 2-8.Directional-Stimulus -Prompting 2-9.Multimodal CoT Prompting 3.敵対的プロンプトエンジニアリングの代表的な手法 3-1.Prompt-Injection 3-2.Prompt-Leaking 3-3.Jailbreak 3-4.Do Anything Now 3-

OpenAIのリリースによりLLMの利用率が爆発的に増えてきました。 当初はChatGPTとの会話形式だけだった利用シーンも独自のナレッジから答えさせるRAGアーキテクチャなど、LLMのアプリケーションへの組み込みがされはじめています。 本資料では主にAzure OpenAIのLLMをアプリケーションへ組み込む際により堅牢かつ安全にアプリケーション実装ができるポイントについて紹介します。 本資料は以下のイベントで発表した内容です。 第1回 Azure Travelers 勉強会 札幌の旅 https://jat.connpass.com/event/303868

OpenAIのサイトを眺めていたら、Prompt Engineeringのマニュアルが出来ていましたので、自身のメモ用として纏めてみました。 https://platform.openai.com/docs/guides/prompt-engineering プロンプトエンジニアリングのマニュアル構成は6つの戦略からなっております。 明確な指示を書く 参照テキストを提供する 複雑なタスクを簡単なサブタスクに分割する モデルに「考える」時間を与える 外部ツールを使用する システマティックに変更をテストする 言語定義として、戦略と戦術の違いは、戦略は、具体的な目標や計画であり、それらを実現するための具体的アクションが戦術です。 1.明確な指示を書く  戦術としては、以下があります。 質問を詳細にせよ ペルソナを設定せよ デリメーターを使用せよ 複雑なタスクのためにステップを踏め 例を与えよ 回

ChatGPT がアプリケーションに最初に組み込まれたのは GitHub Copilot かもしれません。ここでは、ChatGPT そのものと、GitHub Copilot の双方を使って、アプリケーション開発を爆速させ、品質を少しでも向上させ。そして、Developer の皆さんのスキルを上げていくための入り口として、機能の概要を取り上げます。 内容: - Promptだけで出来るコト: 業務で使うために抑えておくべきポイント。データ・変換・抽出 - PromptのEngineeringへの適用: 企画から要件定義、設計、実装、デプロイも。 - 開発の生産性と品質をあげるための戦略: Prompt自身の現在の能力、チーム開発に向けて サンプルのPrompt: https://github.com/dahatake/ChatGPT-Prompt-Sample-Japanese/tree/m

More Decks by Semantic Machine Intelligence Lab., Keio Univ.

はじめに 結論 背景 課題 Fine-tuning とは？ Data の準備 Fine-tuning を実施 結果 おわりに 参考 はじめに こんにちは、DROBE の都筑です。 みなさん LLM 使っていますか。今回は GPT-3.5-turbo の Fine-tuning の事例を紹介します。 結論 GPT-4 を利用して得られたデータを使って GPT-3.5-turbo を Fine-tuning する事で、特定のタスクに関しては GPT-4 相当の性能が出る事が確認できた GPT-4 利用時点で使っていたプロンプトをそのまま使った場合の性能が一番高く、token 節約のためにプロンプトの省略をすると性能が劣化した 背景 LLM を利用したサービスの開発において、OpenAI を利用する場合にはモデルの選択肢がいくつかあります。2023年9月現在では、GPT-4 と GPT-3.5-

ChatGPTによるメンバーで構成された仮想のソフトウェア会社にシステム開発を行ってもらうChatDEVが結構おもしろかった。 ChatDEVは、ChatGPTによってCTOやプログラマー、レビュアー、テスターといった役割をもつエージェントをやりとりさせることでソフトウェア開発を自動化しようという試みの実装です。 https://github.com/OpenBMB/ChatDev アイデアは論文にまとまっていて、こちらで概要が翻訳されています。 [LLM 論文]アプリ全自動開発"ChatDev"の日本語訳｜すめらぎ 使い方としては、とりあえずClone git clone https://github.com/OpenBMB/ChatDev.git そして依存モジュールのインストール cd ChatDev pip3 install -r requirements.txt あと、OpenA

ChatGPT を上手く使う方法として、非常に長いプロンプトが共有されているのを見たことがある方は多いと思います。ただ、実務で使う場合長いプロンプトより短いプロンプトの方が扱いやすく API を利用する際のコストも少なく済みます。「ユーザーが作成した Excel マクロをメンテナンスしてほしい」と言われると 90% のエンジニアは不吉な予感に胃が痛くなると思いますが ( ※個人の感覚です ) 、今後誰かが生み出した長文プロンプトが業務に欠かせないものになっていて数文字変えると挙動が変わるようになっていたりしたらメンテナンスには想像を絶する苦痛が伴います。 プロンプト内の表現が性能へどのように寄与するのか計測することができれば、不要な表現を削り短くすることができます。本記事では、既存の書籍や記事をもとに期待する回答の基準点を定め、基準点よりどれだけ差異ある返答が得られたかで評価する方法を提案

印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます 人工知能（AI）チャットボットが台頭してくるまで、「Stack Overflow」というフォーラムは、プログラマーが自らのプロジェクトで抱えている問題の解決策を求めるために最初に頼る場所になっていた。このフォーラムは、質問に対して回答が返されるという点でChatGPTのモデルとよく似ている。 しかしStack Overflowの場合、ChatGPTとは異なり、誰かが質問に回答してくれるのを待つ必要がある。 このため、ソフトウェア関係のエンジニアやプログラマーの多くがChatGPTに頼るようになった。しかし、ChatGPTがこの種のプロンプトにどれだけ有効に回答できるかというデータは存在しなかった。このような状況を受け、米インディアナ州の

ChatGPT を継続して見つめ続けて。Plugin Ecosystem と Code Interpreter の Beta提供によって、自分の仕事への適用のシナリオが更に広がりました。 人とComputerの在り方が大きく変わったこれらも交えて。それらが周囲にあふれ出すその日のために、今はしっかりと Prompt の仕方を学んでおきたいものです。そのためのサンプルも幾つか継続して提示しています。

先日OpenAIからChatGPTのCode Interpreter が公開されて、その能力の高さと応用範囲の広さから界隈で大騒ぎになっていますね。そのコードインタープリター機能をFunction Callingを利用して、LangChainでオープンソース実装を行う試みも始まったようです。 というわけで、さっそく簡単に試食してみます。なお、技術的な詳細などはLangChainの公式ブログやGitHubリポジトリなどをご参照ください。 概要LangChainエージェント用のPythonコード実行環境として、専用のJupyterカーネルであるCodeBoxを準備し、その中でPythonインタープリターを実行することで機能を実現しているとのことです。 入力ファイルとして、ローカルのファイルも指定できますが、URLを指定するとネット情報も取得できる。 Google Colabで試してみる簡単にG

みずほフィナンシャルグループ（FG）は2023年6月、富士通と共同でシステム開発・保守における生成AI（人工知能）の利用を目指した実証実験を始めると発表した。システム開発および保守に関わる品質や、障害が発生した際の迅速な復旧（レジリエンス）力の向上を狙う。 「IT人材の不足が叫ばれる中、5～10年先に現在のようなシステム安定稼働の体制を維持できるのか」。みずほ銀行の山口和哉ITシステムグループ副CIO（最高情報責任者）は、危機感をにじませる。将来にわたる課題に対応するため、いち早くノウハウを吸収するべく手を打ったのが生成AIの活用だ。 具体的にはシステム開発段階において、設計書のレビュー業務を生成AIで支援する。過去のレビュー表やレビュー観点のノウハウを基に、生成AIが設計書の記載間違いや漏れを自動検出し、開発品質の向上を目指す。 「MINORI」の一部システムが対象 第1段階では、みずほ

ユーザーの立場ではAIネイティブな働き方が身近に迫っており、データサイエンティストやMLエンジニアにとってはGPTを活用した開発を意識する必要が出てくる中、マイクロソフトの取り組みやML開発のパラダイムシフトをご紹介する「ChatGPTによって描かれる未来とAI開発の変遷」。ここで日本マイクロソフト株式会社の蒲生氏が登壇。次に、ReActについてと、ReActにおけるプロンプトの流れについて話します。前回はこちらから。 外部情報を取得して文脈として与える考え方「Grounding」 蒲生弘郷氏（以下、蒲生）：時間的にはあと5分しかないんですが、すみません、延びるのを前提でやらせてもらいます。 外部情報を取得して文脈として与える考え方に「Grounding」というものがあります。いきなり出てきて何なのかという話になってくるんですが、いわゆるBing Chatに近いものです。 Bingは基本的

「chatgptを使って要件定義の工数を削減したい」 「そもそもchatgptを使って質の高い要件定義ができるのだろうか」 とお悩みなのではないだろうか。 結論、chatgptで質の高い要件定義を短時間で実現することは可能だ。 実際に私もchatgptを使って下記のような要件定義書を完成させた。 通常この要件定義書を０から自力で作ろうと思うと４０時間はかかるが、chatgptを使う事によって４時間で完成させることができた。 しかし、ただプロンプトをなんとな投げ掛ければ良いというわけではない。 目的を達成するために綿密に設計をしたプロンプトを投げかける必要がある。 また、要件定義の中でも ・chatgptに丸投げして良いところ ・自分で手直しをした方が良いところ を精査することも大切だ そこで今回は上記のような要件定義書を4時間で完成させるために、私がchatgptへ投げかけたプロンプトを全

【📩 仕事の相談はこちら 📩】 お仕事の相談のある方は、下記のフォームよりお気軽にご相談ください。 https://forms.gle/G5g1SJ7BBZw7oXYA7 もしもメールでの問い合わせの方がよろしければ、下記のメールアドレスへご連絡ください。 info*galirage.com（*を@に変えてご送付ください） 🎁 「生成AIの社内ガイドライン」PDFを『公式LINE』で配布中 🎁 「LINEで相談したい方」や「お問い合わせを検討中の方」は、公式LINEでご連絡いただけますと幸いです。 （期間限定で配信中なため、ご興味ある方は、今のうちに受け取りいただけたらと思います^^） https://lin.ee/3zRuqKe おまけ①：生成AIエンジニア塾 より専門的な「生成AIエンジニア人材」を目指しませんか？ そんな方々に向けて、「生成AIエンジニア塾」というプログラムを

いまからわかる！ChatGPT活用プログラミング ChatGPT APIのFunction callingを使って⁠⁠、請求書の構造化データを抽出する 先月、OpenAIからFunction calling（関数呼び出し）機能がリリースされました。これが何なのか、何のために使うべきなのか、ちょっと見ただけでは分かりづらいと思います。 今回は請求書から情報抽出をするというよくありがちなケースを題材に、Function callingの利便性を示してみます。 Function callingとは OpenAIが2023年6月13日にリリースしたChat APIの追加機能です。主にできることとして以下の3つが挙げられています。 外部ツールを呼び出して質問に答えるチャットボットを作成する 自然言語を内部APIの呼び出しやSQLに変換する テキストから構造化データを抽出する たとえば天気予報と血液型

ChatGPTとLLMシステム開発について纏めた187ページ資料です。 2024/04 名称を改め資料を大幅にアップデートしました！ 今後も随時更新していきます。 データサイエンティスト協会での発表動画はこちら。 https://youtu.be/l9fpxtz22JU Build…

Innovative Tech： このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。Twitter: ＠shiropen2 NTTセキュリティ・ジャパンに所属する研究者らが発表した論文「Detecting Phishing Sites Using ChatGPT」は、ChatGPTでフィッシングサイトを検出する手法を提案した研究報告である。 この手法では、Webサイトから情報を収集するためにWebクローラーを使用し、その収集したデータを元にプロンプトを作成する。プロンプトはChatGPTに提示され、ChatGPTは与えられたWebサイトがフィッシングサイトかどうかを判断する。 WebクローリングとChatGPTの組み合わせにより、Webサイトの正当性や怪しさに関する情報に基