複数LLMの統合による会議動画要約の精度向上 - enechain Tech Blog
はじめに 背景と課題 システム概要 ワークフローの詳細 動画文字起こし (Gemini, GPT-4o) 文字起こしの議題単位の分割 (Claude 3.5 Sonnet) 議題単位での要約作成 (Claude 3.5 Sonnet, GPT-4o) 出力 実装上の工夫と課題 結果と今後の展望 おわりに はじめに こんにちは。enechainで統計・機械学習モデルの構築やLLM（大規模言語モデル）の活用推進を担当している@udon_tempuraです。 近年、GoogleのGeminiなど生成AIの発展が目覚ましく、多くの企業がこれらの技術を業務に取り入れようとしています。 私たちenechainも例外ではなく、積極的にLLMの活用を進めています。 今回はその活用例の1つとして、複数のLLMを使い分けて構築した「会議動画の要約作成ワークフロー」についてご紹介します。 このワークフローでは会
生成AIによる自動評価（LLM-as-a-Judge）のメリットと最新手法をご紹介 | DOORS DX
こんにちは。株式会社ブレインパッド アナリティクスコンサルティングユニットの小澤、久津見、小牧です。 前回までの記事では、 ・「生成AIをビジネス活用するための鍵」となるドメイン特化 ・「LLMの信頼性評価で押さえておくべき8つの評価観点」 ・「生成AIの評価指標とベンチマーク」 ついて、それぞれ課題とともに詳しくご紹介しました。 LLMをビジネス活用する上では、多様な評価観点、KPIに基づく評価基準設定、専門家によるフィードバック、そしてそれらを繰り返し行う環境整備といった複雑かつコストがかかる評価アプローチが負担となっていました。また、ベンチマークは数多く提案されているものの、過学習や日本語に対する性能の低さなども問題となっています。 そこで本記事では、生成AI（特にLLM）の評価方法として最近非常に注目を集めている、LLMによる自動評価技術 (LLM-as-a-Judge) について
LLMを活用した大規模商品カテゴリ分類への取り組み | メルカリエンジニアリング
こんにちは、メルカリの生成AIチームで ML Engineer をしている ML_Bear です。 以前の記事[1]では商品レコメンド改善のお話をさせていただきましたが、今回は、大規模言語モデル (LLM) やその周辺技術を活用して30億を超える商品のカテゴリ分類を行なった事例を紹介します。 ChatGPTの登場によりLLMブームに火がついたということもあり、LLMは会話を通じて利用するものだと認識されている方が多いと思いますが、LLMが有する高い思考能力はさまざまなタスクを解決するためのツールとしても非常に有用です。他方、その処理速度の遅さや費用は大規模なプロジェクトでの活用にあたっての障壁となり得ます。 本記事では、こうしたLLMの課題を克服するためにさまざまな工夫を施し、LLM及びその周辺技術のポテンシャルを最大限に引き出して大規模商品データのカテゴリ分類問題を解決した取り組みについ
ナレッジグラフを用いたRAGの改善 - Ahogrammer
RAG（Retrieval Augmented Generation）は大規模言語モデル（LLM）の性能を改善するための手法の1つであり、質問に対する回答を生成する際に、外部知識源から情報を取り込みます。 これにより、LLM 自体で学習できる情報量に制限されることなく、より正確で詳細な回答を生成することができます。 よく使われているRAGでは、外部知識源として検索エンジンにテキストをインデックスしておき、質問に関連するテキストをベクトル検索や全文検索を用いて取得します。しかし、構造化データを扱うことには苦労するため、質問によっては回答が不十分、あるいはまったく回答できないことに繋がります。 これらの問題を克服するために、ナレッジグラフを用いたRAGが構築されることがあります。ナレッジグラフでは、エンティティとその間の関係がグラフ構造で表現されており、単純な検索を用いた場合には回答できないよ
ConversationalRetrievalChain で LangChain の QA にチャット履歴実装
LangChain では、 EmbeddingAPI を使って vector search とその結果を LLM に与えて QA Bot を構築したり、あるいは ChatGPT のような記憶・履歴(Memory)を実装して、自然な対話を行う便利なモジュールが揃っています。しかし、この Memory のオブジェクトを QA チェーンに入れても、それだけでは上手く動作しません。 そこで今回は、まず QA を一つの Chain オブジェクトで実行する方法と、さらに Memory を実装するについてです。 参考：https://python.langchain.com/en/latest/modules/chains/index_examples/vector_db_qa.html 参考：https://python.langchain.com/en/latest/modules/chains/i
LangChain Model I/Oとは？【Prompts・Language Models・Output Parsers】
LangChain Model I/Oとは？【Prompts・Language Models・Output Parsers】
プロンプトの原則26ヶ条をまとめた報告 | AIDB
プロンプトの原則26ヶ条をまとめた論文が公開されています。 LLaMA-1/2, GPT-3.5/4を使用してスケール評価をした結果、これらの原則が応答品質を向上させると確認できているとのことです。 本記事では、詳細を見ていきます。 参照論文情報 タイトル：Principled Instructions Are All You Need for Questioning LLaMA-1/2, GPT-3.5/4 著者：Sondos Mahmoud Bsharat, Aidar Myrzakhan, Zhiqiang Shen 所属：VILA Lab, Mohamed bin Zayed University of AI URL：https://doi.org/10.48550/arXiv.2312.16171 GitHub：https://github.com/VILA-Lab/ATLAS
グーグルの新マルチモーダルAI動画生成ツール「VideoPoet」がすごいことに - BRIDGE（ブリッジ）テクノロジー＆スタートアップ情報
Google の VideoPoet web サイト Image credit: Google Research つい昨日、私は Google が AI 製品のリリースを最初のトライで成功させることはあるのかと尋ねた。少なくとも、Google の最新の研究の様子からすると、そう尋ねたくもなる。 今週、Google は「VideoPoet」を披露した。VideoPoet は、Google Research の31人の研究者からなるチームが開発した、さまざまな動画生成タスク用に設計された新しい大規模言語モデル（LLM）である。 Google Research チームがこれらのタスクのために LLM を構築したという事実自体が注目に値する。彼らはプレレビューの研究論文にこう書いている。 既存のモデルのほとんどは、拡散（diffusion）ベースの手法を採用している。これらの動画モデルは、通常、個
GPTsより精度の高いRAGシステムの構築
2 松本 和高 株式会社エクスプラザ リードエンジニア X: _mkazutaka Github: mkazutaka 18年にバックエンドエンジニアとしてメルカリに入社。そ 後、ミラ ティブ、フリーランスを得て株式会社エクスプラザに所属。フロント エンドからバックエンドまで幅広く開発しています。 Code生成系AIと相性がいい 関数型なんじゃないかと 思って関数型プログラミングを勉強したりしています。 CONFIDENTIAL INFORMATION: Not for Public Distribution - Do Not Copy 3 株式会社エクスプラザ （EXPLAZA, Inc.） 会社名 プロダクト 力で、豊かな暮らしをつくる ミッション 代表取締役CEO 高橋一生 代表者 2020年07月03日 設立 東京都港区六本木4丁目8-5 和幸ビル 所在地 会社概要
外部流出に怯えないで日本語でジピる - Qiita
https://gpt4all.io/index.html からインストーラを落として導入し モデル vicuna-13b を取得して 準備完了、日本語で会話できます 以下すべて削除 gpt4all で日本語が不自由ぽかったので前後に翻訳をかませてみた Python3.10 チャットの準備 git clone --recursive https://github.com/nomic-ai/pygpt4all.git pushd ./pygpt4all/pyllamacpp && sh ./install.sh && popd curl -LJO https://the-eye.eu/public/AI/models/nomic-ai/gpt4all/gpt4all-lora-quantized-ggml.bin python pygpt4all/pyllamacpp/llama.cpp/m
Chroma db × langchainでpersistする際の注意点 - Qiita
Documentオブジェクトからchroma dbでデータベースを作成している。最初に作成する際には以下のようにpersistディレクトリを設定している。 db = Chroma.from_documents(documents, embeddings, persist_directory=persist_directory, collection_name="pdfs") しかし、ボットを再起動すると、persist済みのディレクトリを指定してそこからデータベースを作成したにも関わらず、推論時に Index not found, please create an instance before queryingと言われてしまった。 Githubのissueを見てみると、同様のエラーが挙がっていた。 https://github.com/hwchase17/langchain/issues
LLM Powered Autonomous Agents
Date: June 23, 2023 | Estimated Reading Time: 31 min | Author: Lilian Weng Building agents with LLM (large language model) as its core controller is a cool concept. Several proof-of-concepts demos, such as AutoGPT, GPT-Engineer and BabyAGI, serve as inspiring examples. The potentiality of LLM extends beyond generating well-written copies, stories, essays and programs; it can be framed as a powerfu
OCIでRAGチャットボットデモを作ってみた - Qiita
はじめに RAGを使って生成AIチャットボットのデモを作ってみました。 サーバ側のバックエンドはOCI上のVM一本で構築しています。 チャットボットだとやはりUIも揃えたいので、 フロントエンドはこちらのreactベースのUIを参考にしています。 構成概要 OCI上で構築するにあたり、下記の要領で作ってみました。 LLMはopenaiのgpt3.5をpythonで使用 チャットボットで回答させたいデータは事前にPDFとして作成 ベクトルストアはchromaを使用し、VMのブロックボリュームにPDFデータを永続化して保存 langchainを使用してLLM+chromaの連携 上記をfastapi+uvicornでwebapi化 (これをreactのデモアプリからrestで呼んでいます) 分かりやすく絵にすると下記のような構成になります。 OCI構築方法 構築方法です。 まずはpipがない場
GPT-4 Turboにドキュメントのチャンク分けを任せてみる - EXPLAZA Tech Blog
はじめに こんにちは、LLM Advent Calendar 2023 4日目の記事を担当する_mkazutakaです。よろしくお願いします。 LLM Advent CalendarといってもRAGの話になりますが、ご容赦ください。 企業独自のデータを使ってLLMからの出力を制御する際には、検索拡張生成(いわゆるRAG)が使われます。 RAGの実装方法としては、「PDFからドキュメント情報を読み取り検索エンジンに保存」「ユーザの入力する質問文から関連するドキュメントを検索エンジンから取得」「取得したものをコンテキストとしてプロンプトに含める」という流れが一般的だと思います。 この際、RAGの課題の一つでもあるのですが、検索結果から取得するドキュメントのサイズ(いわゆるチャンクサイズ)をどれぐらいのものにするかというものがあります。チャンクサイズが小さすぎるとLLMは関連するコンテキストから
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Groq is Fast AI Inference
LangchainをChromaと組み合わせて使う方法 – AI StartUps Product Information, Reviews, Latest Updates
GitHub - andrescevp/expert_gpts: Configure chains within a yaml file