RAGの実案件に取り組んできた今までの知見をまとめてみた | DevelopersIO
はじめに 新規事業部 生成AIチーム 山本です。 ChatGPT（OpenAI API）をはじめとしたAIの言語モデル（Large Language Model：以下、LLM）を使用して、チャットボットを構築するケースが増えています。通常、LLMが学習したときのデータに含まれている内容以外に関する質問には回答ができません。そのため、例えば社内システムに関するチャットボットを作成しようとしても、素のLLMでは質問に対してわからないという回答や異なる知識に基づいた回答が（当然ながら）得られてしまいます。 この問題を解決する方法として、Retrieval Augmented Generation（以下、RAG）という手法がよく使用されます。RAGでは、ユーザからの質問に回答するために必要そうな内容が書かれた文章を検索し、その文章をLLMへの入力（プロンプト）に付け加えて渡すことで、ユーザが欲しい
「Auto-GPTとAgentGPTは別物です」という話
ChatGPTを皮切りとしたAIブーム。流石にちょっと過熱気味になってきた印象があります。 中でも気になるのは「AutoGPT」の話題。Twitter上だと、 他にも、AgentGPTを使って「AutoGPTすごい！AGIだ！」としている投稿を多く見かけました。 ですが、「AgentGPTはAuto-GPTのブラウザ版」ではありません（少なくとも2023年4月15日時点は）。 両者とも似たアプローチはとっていますが、Auto-GPTは 「GPT-4に情報探索・処理や長期記憶の手段を持たせている」 という点が大きく異なります。 AgentGPTは、 ユーザーが設定したゴールをAIにいくつかの問い（タスク）に分解させる それぞれの問いに回答を出させ、その結果を踏まえて追加で必要な問いを考えさせてタスクリストに追加する という自問自答のループを回すことで思考を深めています。 一方、Auto-GP
ビジネスのドメインや最新情報に対応した130億パラメータの日本語LLMの公開
Research部門の近江崇宏です。 ストックマークではビジネスのドメインや最新情報（2023年9月まで）に対応した130億パラメータの大規模言語モデル（LLM）を商用利用も可能なライセンスで公開しました。 モデルはHuggingface Hubからダウンロードいただけます。 https://huggingface.co/stockmark/stockmark-13b このモデルは、合計2200億トークンの日本語のテキストデータにより事前学習が行われました。 一般に事前学習でよく使われるWikipediaやCommonCrawl由来のコーパスだけではなく、当社が独自に収集しているビジネスに関連するWebページや特許などのデータも用いました。 そのため、既存のモデルに比べると、最新の情報やビジネスのドメインに対応したようなモデルになっております。 実際に、ビジネスに関連する知識を問うタスクで
GPT の作り方【GPTs とは？何ができる？】｜ChatGPT研究所
OpenAIは、個人のニーズに合わせてカスタマイズ可能なChatGPTの新しい形、GPTs（ジーピーティーズ）を発表しました。 これにより、ユーザーは独自の指示、追加知識、スキルの組み合わせを持つChatGPTのカスタムバージョンを簡単に作成し、共有することができるようになります。 GPT は、ChatGPT Plus ユーザーならば誰でも無料で使うことができます。 この記事では、GPT の作り方をご紹介します。 GPTsとは？GPTsは、特定の目的に合わせてChatGPTをカスタマイズする新しい方法です。 日々の生活、仕事、家庭での特定のタスクに役立てるために、誰でも簡単に独自のGPTを構築でき、コーディングの知識は不要です。 GPT の作り方 Step 1 GPT Builder を立ち上げる新しい ChatGPT UI の My GPTs のすぐ下、Create a GPT をクリッ
ChatGPT対抗の本命「Claude 2」ついに日本でも利用可能に
Anthropicは10月16日（現地時間）、同社が公開するAIチャットボット「Claude 2」の公開範囲を日本を含む世界95の国と地域に拡大したことを明らかにした。 リストにEU加盟国なし We’re rolling out access to https://t.co/RxKnLNNcNR to more people around the world. Starting today, users in 95 countries can talk to Claude and get help with their professional or day-to-day tasks. You can find the list of supported countries here: https://t.co/PbMuaqJcjU — Anthropic (@AnthropicAI) O
ChatGPTのGPT-4Vを使ってSQL文を画像から作成する - Taste of Tech Topics
igaです。 ポケモンsleepを継続していますが、カビゴン評価がマスターになれません。 ChatGPTが見たり、聞いたり、話したりできるようになる、と言われている「GPT-4 with vision (GPT-4V)」が使えるようになったので、早速使ってみたいと思います。 openai.com 今回は、データベースのテーブル関連図を画像ファイルでもらった想定で、画像からテーブルのDDLが生成できるかを確認してみます。 やりたいこと 以下のような、テーブルの関連図とサンプルデータが描かれた画像ファイルをもらいました。 この画像ファイルをChatGPT-4に渡して、SQLのDDLが生成できるか確認します。 画像を解釈できるか確認する いきなりDDLを作らせる前に、まずは画像ファイルに書かれたテーブル構造を、マークダウンで出力してもらいます。 プロンプトの入力欄の左に絵のアイコン（画像の赤で囲
画像入力で楽々！ChatGPT-4V と Python GUI 開発 - Qiita
1. はじめに ついに ChatGPT-4V が使えるようになりました！ これまでGUIを作成するときには、ChatGPT に 「まず左上にテキストボックスがあって、その右にボタンがあって...」 とちまちま指示する必要があったのですが、GPT-4V により画像を渡せるようになります。 この記事では、ChatGPT-4V を使うと GUI 作成がどのくらい楽になるのかを検証してみたいと思います！ 作成するGUIはこちらのものです。 2. GPT-4V の読み取り精度の確認 2.1. 日本語のポンチ絵 まず、元の記事で使用した日本語のポンチ絵を渡して、どのように読み取れるのかを確認します。 GUIの各要素の位置はなんとなく読み取れている感じがしますが、日本語の読み取り精度はあまり高くないようです。 2.2. 英語のポンチ絵 先ほどのポンチ絵を英語に変換してみます（左下だけ詳しく書き直しました
講義や会議など長時間にわたるムービーをChatGPTの力で時間ごとに要約してくれるツール「summarize.tech」使ってみたレビュー
講義や会議の様子がまるごとYouTubeにアップロードしてあっても、ムービーが数時間にも及ぶような場合内容を確認するのはかなり気が引けるものです。「summarize.tech」はChatGPTを利用して5分単位で内容をまとめてくれるツールとのことなので、実際に使って試してみました。 summarize.tech: AI-powered video summaries https://www.summarize.tech/ 最初に要約してもらうのは下記のムービーです。 This is Financial Advice - YouTube 再生数・評価ともに高く、おそらく何かいい内容なのだとは思うのですが、いかんせんムービーの長さが2時間半以上もあり見始める前から心が折られそうです。というわけでsummarize.techの出番というわけ。まずはURLをコピーします。 summarize.t
RAGを使った社内情報を回答できる生成AIボットで業務効率化してみた | DevelopersIO
はじめに 新規事業部 山本です。 ChatGPT（OpenAI API）をはじめとしたAIの言語モデル（Large Language Model：以下、LLM）を使用して、チャットボットを構築するケースが増えています。通常、LLMが学習したときのデータに含まれている内容以外に関する質問には回答ができません。そのため、例えば社内システムに関するチャットボットを作成しようとしても、素のLLMでは質問に対してわからないという回答や異なる知識に基づいた回答が（当然ながら）得られてしまいます。 この問題を解決する方法として、Retrieval Augmented Generation（以下、RAG）という手法がよく使用されます。RAGでは、ユーザからの質問に回答するために必要そうな内容が書かれた文章を検索し、その文章をLLMへの入力（プロンプト）に付け加えて渡すことで、ユーザが欲しい情報に関して回答
三井住友海上、生成AIを全社員に 「Azure OpenAI Service」活用
三井住友海上火災保険は7月14日、日本マイクロソフトが提供する生成AIチャット利用環境を、5月17日から全社員で使い始めたと発表した。OpenAIのGPT-4／3.5など大規模言語モデル（LLM）をMicrosoftのクラウドで利用できる「Azure OpenAI Service」を活用した。 自社専用の安全なAIチャットツール「MS-Assistant」を構築。社員の情報検索や質問、文章作成・校正、要約、翻訳、ブレインストーミングなどを対話でサポートする。 地域や部門ごとの利用ログをデータサイエンティストが分析し、業務プロセスの改善につなげていくという。 今後は、自社のマニュアルや約款にに応答できる機能の拡充や、当保険代理店への提供を計画している他、社員向け活用支援ポータルサイトの整備や活用アイデアコンテストを開くなど、活用を広げていく。 関連記事 「自社版ChatGPT」をグループ全社
「ChatGPTや画像生成AIの台頭がアーティストや知識労働者に何をもたらすのか？」について5人の専門家が回答
OpenAIによる文章生成モデルのChatGPTや画像生成モデルのDALL-Eなどを始めとしたジェネレーティブAIは、全職業の80％に影響を与えるという研究結果が示されており、特にクリエイターや知識労働者(ナレッジワーカー)には顕著な影響が出ると見られています。ジェネレーティブAIや大規模言語モデル(LLM)が今後アーティストや知識労働者にどのような影響を与え、どのような問題が起きると考えられるのか、5人のコンピューターサイエンスや情報科学の専門家が意見を述べています。 AI and the future of work: 5 experts on what ChatGPT, DALL-E and other AI tools mean for artists and knowledge workers https://theconversation.com/ai-and-the-futu
従来の大規模言語モデルの制約だった「入力量の限界」を取り払った「RWKV」は一体どんな言語モデルなのか？
ChatGPTやBardなど、2023年7月時点で商用利用されている大規模言語モデルはほとんど全てがトランスフォーマーというアーキテクチャを利用したモデルですが、トランスフォーマー型のモデルは入力の長さの2乗に比例して計算量が増加するため、入力サイズが制限されてしまう問題があります。そうした問題に応えて、大きいデータへの対応や推論時のメモリ使用量の削減を達成しつつトランスフォーマー型に匹敵する性能を出せるアーキテクチャ「RWKV」について、著者の一人がブログで解説しています。 The RWKV language model: An RNN with the advantages of a transformer | The Good Minima https://johanwind.github.io/2023/03/23/rwkv_overview.html How the RWKV l
LLM活用時代に“価値あるデータサイエンティスト”になるには 「食べログChatGPTプラグイン」開発で見えてきた、これから求められるスキル
大規模言語モデル（LLM）を、実際にプロダクトや実務に役立つかたちで利用している各社が見た使いどころや、実践の上での工夫について学び合うためのイベント第二弾。今回のテーマは「大規模言語モデルがつくる新しい顧客体験」。ここで登壇したのは、株式会社カカクコムの森菜都未氏。食べログにおける大規模言語モデル活用の未来と、データサイエンティストの向き合い方について発表しました。 食べログの先端領域推進を担当する森菜都未氏 森菜都未氏（以下、森）：よろしくお願いします。「食べログChatGPTプラグイン導入で見えてきた未来：データサイエンティストの向き合い方」について、株式会社カカクコムから森菜都未が発表いたします。 まず、自己紹介です。森菜都未と申します。株式会社カカクコムの食べログシステム本部技術部データサイエンスチームに所属しています。 学生時代は自然言語処理研究室で研究を行っており、その後、ソ
ChatGPT APIで「素人質問で恐縮ですが…」と鋭い質問してくるSlack Botを作った - Platinum Data Blog by BrainPad
本記事は、当社オウンドメディア「Doors」に移転しました。 約5秒後に自動的にリダイレクトします。 このたびブレインパッドは、LLM/Generative AIに関する研究プロジェクトを立ち上げ、この「Platinum Data Blog」を通じてLLM/Generative AIに関するさまざまな情報を発信をしています。 今回は、議論を活性化する質問をLLM技術によって生成できないかと考え、『この分野は素人なのですが…Bot』を開発した内容を、ご紹介します。 こんにちは、アナリティクスサービス部の藤田です。 ブレインパッドでは、有志による社内勉強会がとても活発で、ほぼ毎日何かしらの勉強会が開かれています。社内勉強会では、参加者による質問が重要な役割を果たします。質問によって、質問者は理解を深めることができ、他の参加者や発表者にとっても新しい視点を得ることができます。しかし、参加者が多い
「もう戦艦大和は作らない」--「和製ChatGPT」に関する方針、自民党の塩崎議員が説明
自民党の「AIの進化と実装に関するプロジェクトチーム」で事務局長を務める衆議院議員の塩崎彰久氏は6月8日、デジタルガレージ主催の「THE NEW CONTEXT CONFERENCE TOKYO 2023 Summer」に登壇。自民党がまとめたAI政策提言の概要、および「G7広島サミット」の首脳声明に盛り込まれた「広島AIプロセス」について説明した。 塩崎議員は冒頭、ChatGPT開発元のOpenAIでCEO（最高経営責任者）を務めるサム・アルトマン氏が3月に来日した際の裏話を披露した。 「岸田総理と会う前にサムと話をしたら『ChatGPTをローンチしてから初めて米国の外に出た』と嬉しそうだった。サムは日本が大好きで、東京駅の下にあるベジタリアンラーメンが大好きだと言っていた」（塩崎議員） 塩崎議員によると、アルトマン氏は「日本は人口あたりで最もChatGPTを使っている国」だと教えてくれ
ChatGPTを支えた高品質AI作成手法「RLHF」の中身はこんな感じ、面倒なデータ入力・整理はオープンソースでセルフホスト可能なプラットフォーム「Argilla」が便利
RLHFとは「人間の評価による強化学習」のことで、大規模言語モデルをChatGPTなどの実用レベルに至る品質にまで高めた実績のある手法です。RLHFでは教師データを作成したり、大規模言語モデルの回答を評価したりする際に人間がデータを入力する必要があり、特に複数人で作業する場合にデータの管理が大変になってしまうものですが、そうしたRLHF用データの入力や管理を行ってくれるプラットフォームが「Argilla」です。 Bringing LLM Fine-Tuning and RLHF to Everyone https://argilla.io/blog/argilla-for-llms/ 大規模言語モデルを作成する時の手順を示したのが下の図です。まず大量のテキストを用いて事前学習を行います。こうして作成されたモデルが事前学習済みモデルで、GPTやPaLM、LLaMAなどのモデルがこのカテゴリに
GPT-4登場以降に出てきたChatGPT/LLMに関する論文や技術の振り返り - Platinum Data Blog by BrainPad
本記事は、当社オウンドメディア「Doors」に移転しました。 約5秒後に自動的にリダイレクトします。 このたびブレインパッドは、LLM/Generative AIに関する研究プロジェクトを立ち上げ、この「Platinum Data Blog」を通じてLLM/Generative AIに関するさまざまな情報を発信をしています。 この記事では、GPT-4の登場から執筆日（2023年5月31日時点）までの2ヶ月間で登場した論文を振り返りながら、まとめて紹介していきます。 LLM/ChatGPTの動向 オープンソースLLM モデル オープンソースLLMの調整 Adapter、LoRA Instruction Tuning Human Feedback プロンプトエンジニアリング プロンプトエンジニアリングの課題①：プロンプトに大量の情報を入れられない プロンプトエンジニアリングの課題②：複雑なタス
エンジニアのためのChatGPTプラグイン3選+1 - きしだのHatena
前のブログでも紹介したのだけど、ChatGPTプラグインのローリングアウトが始まって使えるようになっていて、結局みんな使うのはこの3つくらいかなーとなったので、まとめておきます。 前のブログはこれ。 Bardも世の中のサービスぜんぶGoogle製と思ってるらしい - きしだのHatena 同時に使えるのは3つまでのようだけど、他のプラグインはアメリカの不動産情報など日本からは使いづらかったり、作ってみたレベルだったりなので、結局この３つに落ち着くかなーという気がします。 WebPilot これは手放せなくなります。Web記事を読み込んでくれるプラグイン。 ChatGPTには「この記事を要約して」しか入力しなくなりそう。 このエントリを要約してもらっています。 大規模言語モデルの「脳波」が反応してる部分を壊すとどうなるか試した - きしだのHatena ※ 追記 15:21 ぼくのところには
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
OpenAI、改良版生成AIモデル「GPT-4 Turbo」を「GPT-4」より安価に提供へ
ChatGPTのプロンプトで使える回答を引き出す“7R”とは マーケター必須スキルとAI最前線 | 【レポート】デジタルマーケターズサミット2023 Summer
