以前Arize Phoenixを使ってたりしました。 www.nogawanogawa.com www.nogawanogawa.com そんなArize Phoenixですが、どうやらLlamaCloudでLlamaTraceという名前で使えるようになっているらしいです。 We’re excited to feature LlamaTrace - a collaborative effort with @arizeai to introduce advanced LLM tracing, observability, and evaluation for any LLM application workflows 🦙🔥 There are of course many great tools for LLM tracing/evals, and we have great integ

パスワードを使ったGmail SMTPの利用が不可に Gmailの仕様変更により、2024年9月30日より GmailのSMTP サーバー（smtp.google.com）でパスワードを利用した認証が利用できなくなります。 a-blog cms で、GmailのSMTPをご利用の皆様は、2024年9月30日までに対策をお願いします。 2024 年 9 月 30 日以降: パスワードのみを使用して Google アカウントおよび Google Sync にアクセスするサードパーティ アプリのサポートを終了 Google Workspace Updates JA この記事は 9 月 29 日に英語版ブログに掲載された記事 を翻訳したものです。 概要 ユーザーの安全性に関わる取り組みの一環として、Google Workspace では、Google のユーザー名と...

はじめに Difyというサービスを聞いたことがあるけれど、「何ができるかわからない」、「どう使うのかわからない」などの理由で使ったことがない方は多いのではないでしょうか。 そのような方のために、「Dify で何ができるのか？や Dify を使った活用事例」を紹介する記事をシリーズ化していきます。

LlamaIndexでRAG Fusionを行う方法はざっと見た感じ3つあるように思える。 LlamaPackのRAGFusionPipelinePackを使う Reciprocal Rerank Fusion Retrieverを使う フルスクラッチでFusion Retrieverを作る LCELっぽくやるならばQueryPipelineを使いたいところだけど、Reciprocal Rerank Fusion Retrieverを使うのが一番シンプルに見えるのでこれでやってみる。

ニトリのウッドカーペットで手軽に和室を洋室にリフォームしちゃいました。 床は見える面積が広いので畳とフローリングでは全く雰囲気が違いますね。 なかなか手をつけにくい場所だと思いますが費用対効果は抜群です！ ------------------------------------------------ ▼動画で使用した商品 ◼️ ウッドカーペット 江戸間6帖(クラウドIV(エドマ) 6J) ニトリ https://a.r10.to/hMo01H ◼️こうひん 防虫・防ダニ・防カビシート 6帖用 https://amzn.to/3vbS8Rm ◼️ 東リ 見切り材 ※動画で使用しているカラーはLMI121です https://a.r10.to/hu8txI ------------------------------------------------ ★次回予告で紹介した動

2023/01時点の最新バージョン(Ver.2.0) のものです。 バージョンアップで範囲等は変更されるので、受験時は公式サイトの「試験ガイド」を確認してください。 AWS Certified Machine Learning - Specialty 認定 勉強開始前の状態 AWSで動いているアプリの保守開発/運用の業務を5年程度、現在も継続中。機械学習の経験はゼロ。 AWS認定はこれまで10個取得済み。 AWS認定ソリューションアーキテクトを受験した時の話 AWS認定デベロッパーアソシエイトを受験した時の話 AWS認定SysOpsアドミニストレーターアソシエイトを受験した時の話 AWS認定ソリューションアーキテクトプロフェッショナルを受験した時の話 AWS認定DevOpsエンジニアプロフェッショナルを受験した時の話 AWS認定セキュリティ - 専門知識を受験した時の話 AWS認定データベ

生成AIを企業が使う場合、社内データを使った回答を得るにはファインチューニング、もしくは Retrieval-Augmented Generation (RAG、検索拡張生成) を行う必要があります。 企業では毎日データが更新される中で、ファインチューニングを頻繁に行うのはコスト高で現実的ではありません。 そこでRAGを使った方法が注目されています。 ということで、今回は以下の組み合わせでRAGを試してみました。 生成AI: Cohere Command Vector Database: PostgreSQL (pgvector) 生成AIとVector Databaseの連携: LangChain 将来的にはCohereのサービスがOCIで、Vector DatabaseがOracle Database 23cで提供される予定なので、GAとなった際はこれらを使って試したいと思います。 現

はじめに 新規事業統括部Passregiチームの山本です。 最近、OpenAIのAPIが公開されたこともあり、効率的に情報を見つけ出す手助けをするための方法として、文章や資料に関する質問に回答できるチャットボットが採用されることが増えてきました。チャットボットが回答する際に、単に直接的な答えだけを返答するのでも良いですが、どこの文章を参考にしたか（=リファレンス）も合わせて回答すれば、ユーザは一次情報を読むことができたり、周辺の情報も合わせて見ることができるので、より安心して利用できそうです。 今回は、LlamaIndexでリファレンスした箇所を把握する方法を調べましたので、そのコードを共有します。 (補足) 文章ファイルの内容に関する質問に回答するチャットボット作成するために、ChatGPTなどのAPIのクエリにその文章の内容を入力として加える方法があります。 その際の課題として以下のよ

ドキュメント これまでもArize Phoenixとのトレーシングはできていたが、今後は2つのやり方になる。 これまで使用できていたもの。これは今後は「ローカルモード」になる。 グローバルなコールバックハンドラを設定するだけで、ローカルでArize Phonexが起動し、トレーシングが行われる。 新しく追加されたLlamaTrace (Arize Phoenixのホスティングサービス) グローバルなコールバックハンドラを設定するだけで、LlamaTraceにデータが送信され、トレーシングが行われる。 LlamaTraceのアカウント（≒Arize Platformのアカウント？）登録を行い、APIキーを取得する必要がある。 Arize Platformの料金は以下にあるのけど、LlamaTraceがどういう風になってるのかはちょっとわからない。というかLlamaTraceの運営主体はどっち

今日、私たちは、マルチエージェント・アプリケーションを構築するための新しいイベント駆動型の方法である @llama_index workflowsを紹介できることを嬉しく思う。 各エージェントをイベントをサブスクライブし、イベントをエミットするコンポーネントとしてモデル化することで、複雑なオーケストレーションを、可読性が高く、Pythonicで、バッチ、非同期、ストリーミングを活用できる方法で構築することができる。 グラフ／パイプラインベースのアプローチには限界があった: 私たちは一夜にしてここまでたどり着いたわけではない。 実際、今年の初めにQuery Pipeline抽象化を発表した。これはDAGを使ったLLMオーケストレーションの試みだったが、しかし、より良いものにしようとするうちに、多くの問題に気づいた: ⚠️オーケストレーションがエッジに食い込んでしまい、コードが読めなくなったり

それでは以下、簡単なデモを含めながら個別に説明していきます。 1. ハイブリッドサーチ こちらは、性質の異なる複数の検索方式（例えばベクトル検索とキーワード検索）を組み合わせて検索精度を向上させる手法になります。 各検索方式単体の場合に比べ、性質の異なる検索方式を組み合わせ、ある種いいとこ取りをする事で、検索性能の向上が期待できます。 今回はBM25でのキーワードベースの類似度検索と通常のベクトル検索を組み合わせていきます。 BM25について簡単に説明しておくと、文脈や文章構造は完全に無視した上で、文書内の単語を全てバラバラに分割し、文書内の各単語の出現頻度と文書間におけるレア度を加味した特徴量を算出します。 つまり、特定の文書内の各単語の数をカウントしてヒストグラムを作れば、似たような文書には同じような単語がよく出るはずなので(同じようなヒストグラムの形になるので)、類似度が高くなる性質