こんにちは。PharmaXの上野（@ueeeeniki）です。 PharmaXでは、YOJOというサービスで複数のLLMエージェントを組み合わせたマルチエージェントの構成でチャットボットシステムを構築しています。 本日は、そんなPharmaXのLLMプロダクト開発で学んだエージェント設計の原則をまとめてみたいと思います。 これまでLLMプロダクト開発に関する知見を様々なところで公開してきました。 YOJOのマルチエージェントの仕組みは下記の記事をご覧いただければと思います。 LLMアプリケーションのアーキテクチャについてまとめた資料もあります。 このあたりで、エージェントの設計のコツを一度まとめて置こうという意図です。 LLMエージェント設計原則まとめ PharmaXで培ったLLMエージェントの設計原則をまとめると以下のようになります。 RAGは本当に必要な時のみ使う エージェントがこなす

突然ですが、みなさんLLMのファインチューニングしていますか？ 個人的な感想かもしれませんが、ファインチューニングは、幻滅期に入っているように感じています。 GPT-3.5 Turboのファインチューニングが発表されて以降、ファインチューニングしても思ったような出力をしてくれないので、ファインチューニングに期待しないという意見がちらほら聞こえてきました。 ファインチューニングするぐらいなら、Few-shotなどのプロンプトエンジニアリング技法を駆使した方が、結果的には求めている出力をしてくれると考えている方も多かったのではないでしょうか。 正直、私自身もそうでした。 ファインチューニングは、データセットを準備するのも大変ですし、正直コスパがよくないなと感じていました。 実際、プロンプトのチューニングは高速でPDCAを回せるので、ファインチューニングを反復するよりも遥かに高速なフェードバック

０：ControlNetとは　ControlNet(コントロールネット)とは画像などを下地にしてポーズや構図、画像の雰囲気を抽出し、画像の生成時に参照する仕組みです。この時利用する仕組みのことをプリプロセッサ(preprocessor)といいます。 下の画像は人間を棒人間のような線で抽出するopenposeの例です。このようにポーズをまねたりすることができます。 コントロールネットopenposeの例１：コントロールネットの導入　まずは、SDWebUIから「拡張機能」を選択して「URLからインストール」を選択してください。「拡張機能のリポジトリのURL」に以下のURLをコピー＆ペーストしてください。あとはインストールを押すだけです。 https://github.com/Mikubill/sd-webui-controlnet インストールが完了したら「インストール済み」タブに戻って「適用

ゴッホの「星月夜」のような火星で馬にのる宇宙飛行士 （Stable Diffusionで作成） この記事は、Supershipグループ Advent Calendar 2022の13日目の記事になります。 Supership プロダクト開発本部の @ps010 です。普段は広告・マーケティング領域で、分析業務や広告セグメントの作成を担当しています。 記事の目的 最近、チャットAIや画像生成AIが話題ですね。特に画像生成AIの Stable Diffusion は、無料かつ無制限で実装を試せることで注目を集めています。 そこでこの記事では、Stable Diffusion の仕組みの理解を目指します。 画像生成AIがどのような仕組みでテキストから画像を生成するのか、Stable Diffusion に焦点を当て、基本構造をわかりやすく解説します。 画像生成のメカニズムをイメージしやすいように

はじめに 知らない間にGitHub Copilotが結構進化していたので、それらの内容を紹介します。 GitHub Copilot Chatは知っていたのですが、単なるChatGPTみたいな会話機能を追加しただけだと思っていました。 要約 右クリックメニューや#fileのようなコマンドが登場し、それを入力するだけでChatに見てほしいコンテキストを伝えることができるようになった。 ファイル単位だけでなく、選択した行やブロックに限定することもできる。 テストコードや新しいプロジェクトをコマンド一つで生成できるようになっている。 推薦の候補も複数を同時に比較できるようになった。 一度に最大10個くらい出る上、タブで保管できる。 ターミナルや編集中のファイルからコマンド一つでChatを立ち上げることができる。 特別なプロンプトを入力しなくても、開いた場所の文脈を読み取ってくれる。 右クリックメニ

呪文(プロンプト)とは? 呪文(プロンプト)とはStable Diffusionをはじめとする画像生成AIに入力する文章のことです。呪文(プロンプト)は画像の特徴を表すようなキーワードや文章を,区切りで入力するのが一般的な呪文(プロンプト)です。呪文(プロンプト)は呪文と呼ばれることも多いです。 呪文(プロンプト)には次のようなキーワードが指定されることが多いです。 画像の品質、クオリティ(例: masterpiece, best quality) カメラフォーカス(例: sharp focus, depth of field, blur background, bokeh) ライト・ting) 構図(例: front view, full body) 人物(例: 20 years old woman, 15 years old actress) ポーズ(例: looking at vie

LLMのチャット以外の可能性 ChatGPTなどで話題のLLM（Large Language Model）、用途としてはチャットボットとしての使われ方が多いですが、チャット以外にも使える可能性を秘めています。 具体的には、生成AIでロボット制御をする「RT-1」や、マインクラフトをプレイする「Voyager」などがあります。これらの詳細の解説は以下記事参照ください。 今回は、夏休みの自由研究（と呼べるほど高尚なものではないですが）として、手軽に分かりやすい例として、LLMでマリオをプレイできるか試してみることにしました。 LLMでマリオをプレイ マリオに関しては、以前に深層強化学習で全ステージクリアにチャレンジしたことがあります。 複数人の有志の協力があり、ループを多用する8-4を除いたステージを全てクリアすることができました。ただ、ステージごとにシミュレータで半日以上かけて学習させる必要

どんな人向けの記事？ これからRAGを作ってみたい DifyやLangChainにこだわらず、自分で開発をハンドリングしたい ベクトルDBや埋め込みモデルの選定の勘所をサッと知りたい ここではRAGとは何かのような話題は扱いません。 RAGが、ほぼAI活用の現実的な最適解になりつつある LLMは高度な知的タスクを実行可能である。 そんな理解が世界に広まっていく中で、企業は自らが蓄えたデータをLLMに組み合わせてどう活用するか躍起になっています。これからはビッグデータだ！という時代を経ているため、情報インフラに投資した企業も多く、AIでデータを活用する流れはもはや確定路線と言えます。 この問題を解決する手法として一番最初に思いつくのは、モデル自体を改変するファインチューニングです。しかし、ファインチューニングにはいくつかの実用上の問題があります。ファインチューニング自体に専門知識が必要である

RAGの精度改善するために何があるかを学びました。基本系のNaive RAGを知っている人向けの記事です。 方法が多すぎるので、Youtubeの「RAG From Scratch」を中心に少し整理してみました。LangChainをよく使っているので、LangChain出典が多いです。 全体像 まずは、RAGの全体像。Indexingが同じ流れにあるのが少しわかりにくいのですが、実行タイミングとしてはRAGの前準備としてやっておきます。 画像出典: RAG from scratch: Overview もう少し粒度を細かくした図です。 画像出典: RAG from scratch: Overview 表形式で分類します。Generationだけ少し特殊です。 大分類 中分類 内容

スライド概要 社内で実施したDify講座の資料です。 Dify初級者から中級者向けに参考になる内容もあるかもなので、外部公開してみます。

TOPフォーカス量産型UIから脱却したくて。個人開発の賃貸検索「Comfy」が提言する“探しやすさ”の形【フォーカス】 ソフトウェアエンジニア・個人開発者 choo 大学では文学部だったが、卒業後、たまたま内定が出たため入った大手SIerでプログラミングの面白さに目覚める。2年半で退職した後、1年間アルバイトをしつつ情報科学を独学し、Webサービス開発会社にプログラマとして就職する。2019年から個人開発に取り組んでおり、手描き文字の美麗さをAIで判定する「Letters」というWebアプリも運営している。独学時代には生活費を切り詰めるため、格安の事故物件で生活していた。 X Comfy Letters 賃貸物件の検索条件を入力すると、地図上の地域がリアルタイムに色を変え、「この条件の物件は、この地域にこれくらいある」とひと目でわかるWebサービス「Comfy（コンフィ）」。条件にフィット

本記事は、2024年7月発売の書籍「つくりながら学ぶ！生成AIアプリ & エージェント開発入門」をベースに、私なりにGoogle Colabで動作する「生成AIエージェント」を実装してみた内容の解説です 上記の書籍「つくりながら学ぶ！ 生成AIアプリ & エージェント開発入門」(発売日 2024/7/18) [link]、著者：ML_Bear（本名: 内田 直孝）さん を参考にしながら、自分なりにいろいろ変更を加えてみて実装してみました。 Google ColaboratoryのNotebookファイルは以下となります。 本記事では今回作成してみたプログラムについて解説します。 拙著である、「つくりながら学ぶ！PyTorchによる発展ディープラーニング」などと、装丁が似ているようにも感じる？のは、マイナビ出版の（私がとても信頼している）同じ編集者の方がこちらの書籍もご担当してくださっている

はじめに この記事では今回開発したWebアプリ、自閉症識別（後に理由を説明しますが、動作が大変モッサリです）を公開するまでの経緯や考え・思いをまとめた。 6月中旬に差し掛かる頃から、Aidemy PewmiumのAIアプリ開発コースで、Pythonを用いてアプリ開発を行えるようになることを目標に学んできた。その成果として開発したのが、顔写真から自閉症を判別するWebアプリだ。 この記事では私自身がプログラミング超初心者として、そしていち支援者として感じたことも多く綴っているため、必要に応じて適宜読み飛ばしてもらえると良いかもしれない。 開発開始に至るまで 私はこちらの記事にあるように、保育士として児童発達支援に関わってきた。大変ではあるが非常に楽しい仕事だった。とはいえAidemyの講座受講中、成果物を何にするかをずっと考えていたが、この領域で何かやろうなんてことは全く考えていなかった。

ブックマークしました ここにツイート内容が記載されます https://b.hatena.ne.jp/URLはspanで囲んでください Twitterで共有

はじめに マケデコというMarket APIを活用した投資を話しあうコミュニティでExcelを用いてファンダメンタル分析のために日本株全銘柄を無料でデータ取得する方法をマケデコがSBIネオトレード証券のスポンサーで開発し、セミナーで発表しました。 ダウンロード、使い方など細かい情報は上のページを参照してください。J-Quants APIのアカウント(無料からあります)を必要としますので、そこだけ注意が必要です。ネオトレAPI for Excelとも連携します。 使い方のセミナー動画はこちらですが、長いので今後10分程度にまとめようとおもいます。 各種機能のちら見せ 銘柄リストをダウンロードするとこんな感じ 主要な指数は全部自動で計算されて全銘柄の比較可能な主要なフファンダメンタルが並びます こんな感じで分布の分位を確認しながらスクリーニングができます（Excel 2019では動かないようで

what-is \n","metadata":{}},{"id":"GLOBAL#tech-category#ai","name":"AI","namespaceId":"GLOBAL#tech-category","description":"AI","metadata":{}}]" data-reactroot="">

こんにちは！AIソリューショングループの太田です。 このコラムでは生成AIエージェントは知っているが、何から始めるべきか分からない方向けに、生成AIエージェントを使った問い合わせ対応の取り組みを紹介します。 さらに、私たちの生成AIエージェント開発の失敗談や工夫点も紹介しています。 みなさんの今後の開発や検証の参考になれば幸いです。 生成AIエージェントとは？ 生成AIエージェントは何ができますか？ 最初におすすめの検証 電通総研の取り組み紹介 問題設定：ヘルプデスクの一次回答 挑戦的なポイント 開発に利用したもの 活動１）エージェントのワークフローを準備 活動２）評価データセットでの精度検証と課題の洗い出し 活動３）ナレッジのドキュメント化 活動４）各LLMの観測範囲のチューニング 活動５）計画のプロンプトエンジニアリング 活動６）ツール呼び出しのチューニング 活動７）振り返りのプロンプ

はじめに VSCodeで、index.tsやpage.tsxなど、同名のファイルを複数同時に開いてしまい、わからなくなってしまったことはありませんか？ 実はよく見ると同一名称のファイルを開いているときには右側にディレクトリ名も表示されているのですが、薄い文字かつ、目線移動が必要で分かりづらいです。 この記事では、VSCodeの設定を変更することで、タブ表示名にディレクトリ名を含めて表示する方法を紹介します。 設定方法 VSCodeの設定ファイルsettings.jsonに以下の設定を追加します。 "workbench.editor.customLabels.patterns": { "**/index.*": "${dirname} .../${dirname(1)}", "**/{page,layout,template,route,actions,hooks,components,ut

僕は彼女の不幸な顔しか知らない 僕は彼女の不幸な顔しか知らない。 「遅れてごめん」 彼女は息を弾ませてそう言いつつ、カップを片手に向かいの席に座った。 「そこまで待ってないよ」 僕の言葉はカフェの喧騒に吸い込まれた。もう何度となく交わされた会話だ。彼女が僕に会いたいと言ってくる時は、彼女の人生が上手くいっていない時だ。 (Photo:Макс Радомский / Max Radomskii) 彼氏ができたり、他に夢中な趣味があったり、仕事に没頭している時、同期との飲み歩きが楽しい時、彼女は僕に声をかけない。 ただSNS上で見知った関係だけがそこにある。 彼氏と別れたり、仕事がうまくいかなかったり、そういった彼女自身が煮詰まったであろう時に僕に声がかかる。 都合が良いといえば都合が良い相手なのだろう。だから僕は彼女が上手くいっていない時の顔しか見たことがない。 彼女が結婚し、もう何年も声