生成AIによる自動評価（LLM-as-a-Judge）のメリットと最新手法をご紹介 | DOORS DX
こんにちは。株式会社ブレインパッド アナリティクスコンサルティングユニットの小澤、久津見、小牧です。 前回までの記事では、 ・「生成AIをビジネス活用するための鍵」となるドメイン特化 ・「LLMの信頼性評価で押さえておくべき8つの評価観点」 ・「生成AIの評価指標とベンチマーク」 ついて、それぞれ課題とともに詳しくご紹介しました。 LLMをビジネス活用する上では、多様な評価観点、KPIに基づく評価基準設定、専門家によるフィードバック、そしてそれらを繰り返し行う環境整備といった複雑かつコストがかかる評価アプローチが負担となっていました。また、ベンチマークは数多く提案されているものの、過学習や日本語に対する性能の低さなども問題となっています。 そこで本記事では、生成AI（特にLLM）の評価方法として最近非常に注目を集めている、LLMによる自動評価技術 (LLM-as-a-Judge) について
LLMを活用した大規模商品カテゴリ分類への取り組み | メルカリエンジニアリング
こんにちは、メルカリの生成AIチームで ML Engineer をしている ML_Bear です。 以前の記事[1]では商品レコメンド改善のお話をさせていただきましたが、今回は、大規模言語モデル (LLM) やその周辺技術を活用して30億を超える商品のカテゴリ分類を行なった事例を紹介します。 ChatGPTの登場によりLLMブームに火がついたということもあり、LLMは会話を通じて利用するものだと認識されている方が多いと思いますが、LLMが有する高い思考能力はさまざまなタスクを解決するためのツールとしても非常に有用です。他方、その処理速度の遅さや費用は大規模なプロジェクトでの活用にあたっての障壁となり得ます。 本記事では、こうしたLLMの課題を克服するためにさまざまな工夫を施し、LLM及びその周辺技術のポテンシャルを最大限に引き出して大規模商品データのカテゴリ分類問題を解決した取り組みについ
ナレッジグラフを用いたRAGの改善 - Ahogrammer
RAG（Retrieval Augmented Generation）は大規模言語モデル（LLM）の性能を改善するための手法の1つであり、質問に対する回答を生成する際に、外部知識源から情報を取り込みます。 これにより、LLM 自体で学習できる情報量に制限されることなく、より正確で詳細な回答を生成することができます。 よく使われているRAGでは、外部知識源として検索エンジンにテキストをインデックスしておき、質問に関連するテキストをベクトル検索や全文検索を用いて取得します。しかし、構造化データを扱うことには苦労するため、質問によっては回答が不十分、あるいはまったく回答できないことに繋がります。 これらの問題を克服するために、ナレッジグラフを用いたRAGが構築されることがあります。ナレッジグラフでは、エンティティとその間の関係がグラフ構造で表現されており、単純な検索を用いた場合には回答できないよ
LangchainをChromaと組み合わせて使う方法 – AI StartUps Product Information, Reviews, Latest Updates
もし自然言語処理（NLP）の世界に身を置いているなら、LangchainとChromaのことを聞いたことがあるかもしれません。しかし、これら2つを組み合わせてプロジェクトをさらに進化させると考えたことはありますか？それなら、正しい場所にいます。本記事では、LangchainをChromaと組み合わせて使うための究極のガイドを提供します。Chromaは、テクノロジー界に革新をもたらしているオープンソースのベクトルデータベースです。 次の数節では、LangchainとChromaの詳細やそれらの連携方法を詳しく見ていきます。あなたが経験豊富な開発者であるか初心者であるかに関わらず、ここには誰にでも役立つ情報があります。さあ、始めましょう！ LangchainとChroma Vector DBを連携させる方法 Langchainとは？ Langchainは、さまざまなNLPタスクを容易にするため
ConversationalRetrievalChain で LangChain の QA にチャット履歴実装
LangChain では、 EmbeddingAPI を使って vector search とその結果を LLM に与えて QA Bot を構築したり、あるいは ChatGPT のような記憶・履歴(Memory)を実装して、自然な対話を行う便利なモジュールが揃っています。しかし、この Memory のオブジェクトを QA チェーンに入れても、それだけでは上手く動作しません。 そこで今回は、まず QA を一つの Chain オブジェクトで実行する方法と、さらに Memory を実装するについてです。 参考：https://python.langchain.com/en/latest/modules/chains/index_examples/vector_db_qa.html 参考：https://python.langchain.com/en/latest/modules/chains/i
LangChain Model I/Oとは？【Prompts・Language Models・Output Parsers】
LangChain Model I/Oとは？【Prompts・Language Models・Output Parsers】
プロンプトの原則26ヶ条をまとめた報告 | AIDB
プロンプトの原則26ヶ条をまとめた論文が公開されています。 LLaMA-1/2, GPT-3.5/4を使用してスケール評価をした結果、これらの原則が応答品質を向上させると確認できているとのことです。 本記事では、詳細を見ていきます。 参照論文情報 タイトル：Principled Instructions Are All You Need for Questioning LLaMA-1/2, GPT-3.5/4 著者：Sondos Mahmoud Bsharat, Aidar Myrzakhan, Zhiqiang Shen 所属：VILA Lab, Mohamed bin Zayed University of AI URL：https://doi.org/10.48550/arXiv.2312.16171 GitHub：https://github.com/VILA-Lab/ATLAS
グーグルの新マルチモーダルAI動画生成ツール「VideoPoet」がすごいことに - BRIDGE（ブリッジ）テクノロジー＆スタートアップ情報
Google の VideoPoet web サイト Image credit: Google Research つい昨日、私は Google が AI 製品のリリースを最初のトライで成功させることはあるのかと尋ねた。少なくとも、Google の最新の研究の様子からすると、そう尋ねたくもなる。 今週、Google は「VideoPoet」を披露した。VideoPoet は、Google Research の31人の研究者からなるチームが開発した、さまざまな動画生成タスク用に設計された新しい大規模言語モデル（LLM）である。 Google Research チームがこれらのタスクのために LLM を構築したという事実自体が注目に値する。彼らはプレレビューの研究論文にこう書いている。 既存のモデルのほとんどは、拡散（diffusion）ベースの手法を採用している。これらの動画モデルは、通常、個
外部流出に怯えないで日本語でジピる - Qiita
https://gpt4all.io/index.html からインストーラを落として導入し モデル vicuna-13b を取得して 準備完了、日本語で会話できます 以下すべて削除 gpt4all で日本語が不自由ぽかったので前後に翻訳をかませてみた Python3.10 チャットの準備 git clone --recursive https://github.com/nomic-ai/pygpt4all.git pushd ./pygpt4all/pyllamacpp && sh ./install.sh && popd curl -LJO https://the-eye.eu/public/AI/models/nomic-ai/gpt4all/gpt4all-lora-quantized-ggml.bin python pygpt4all/pyllamacpp/llama.cpp/m
Chroma db × langchainでpersistする際の注意点 - Qiita
Documentオブジェクトからchroma dbでデータベースを作成している。最初に作成する際には以下のようにpersistディレクトリを設定している。 db = Chroma.from_documents(documents, embeddings, persist_directory=persist_directory, collection_name="pdfs") しかし、ボットを再起動すると、persist済みのディレクトリを指定してそこからデータベースを作成したにも関わらず、推論時に Index not found, please create an instance before queryingと言われてしまった。 Githubのissueを見てみると、同様のエラーが挙がっていた。 https://github.com/hwchase17/langchain/issues
LLM Powered Autonomous Agents
Date: June 23, 2023 | Estimated Reading Time: 31 min | Author: Lilian Weng Building agents with LLM (large language model) as its core controller is a cool concept. Several proof-of-concepts demos, such as AutoGPT, GPT-Engineer and BabyAGI, serve as inspiring examples. The potentiality of LLM extends beyond generating well-written copies, stories, essays and programs; it can be framed as a powerfu
OCIでRAGチャットボットデモを作ってみた - Qiita
はじめに RAGを使って生成AIチャットボットのデモを作ってみました。 サーバ側のバックエンドはOCI上のVM一本で構築しています。 チャットボットだとやはりUIも揃えたいので、 フロントエンドはこちらのreactベースのUIを参考にしています。 構成概要 OCI上で構築するにあたり、下記の要領で作ってみました。 LLMはopenaiのgpt3.5をpythonで使用 チャットボットで回答させたいデータは事前にPDFとして作成 ベクトルストアはchromaを使用し、VMのブロックボリュームにPDFデータを永続化して保存 langchainを使用してLLM+chromaの連携 上記をfastapi+uvicornでwebapi化 (これをreactのデモアプリからrestで呼んでいます) 分かりやすく絵にすると下記のような構成になります。 OCI構築方法 構築方法です。 まずはpipがない場
GPT-4 Turboにドキュメントのチャンク分けを任せてみる - EXPLAZA Tech Blog
はじめに こんにちは、LLM Advent Calendar 2023 4日目の記事を担当する_mkazutakaです。よろしくお願いします。 LLM Advent CalendarといってもRAGの話になりますが、ご容赦ください。 企業独自のデータを使ってLLMからの出力を制御する際には、検索拡張生成(いわゆるRAG)が使われます。 RAGの実装方法としては、「PDFからドキュメント情報を読み取り検索エンジンに保存」「ユーザの入力する質問文から関連するドキュメントを検索エンジンから取得」「取得したものをコンテキストとしてプロンプトに含める」という流れが一般的だと思います。 この際、RAGの課題の一つでもあるのですが、検索結果から取得するドキュメントのサイズ(いわゆるチャンクサイズ)をどれぐらいのものにするかというものがあります。チャンクサイズが小さすぎるとLLMは関連するコンテキストから
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Accelerating Systems with Real-time AI Solutions - Groq
GPTsより精度の高いRAGシステムの構築
GitHub - andrescevp/expert_gpts: Configure chains within a yaml file