はてなブックマーク

最近RAGをいじっています。 www.nogawanogawa.com www.nogawanogawa.com www.nogawanogawa.com 大体評価周りに関して何したら良いかはわかってきた気がするので、今度は精度に関するトラッキングをしていきたいと思います。 というわけで前回までのRagasやLlamaIndexに加えて、今回はLangfuseを使ってみたいと思います。 Langfuse LlamaIndexを使う際の他のObserbability系のツール お値段 使ってみる まずはただ使ってみる Ragasの出力を記録する 使ったnotebook 参考文献 感想 Langfuse Langfuseは、OSSとして開発されているLLMエンジニアリングプラットフォームです。 langfuse.com Langfuse is an open-source LLM engine

最近RAGアプリケーションの評価やその管理ツールについて調べることがありました。 今回はRAGアプリケーションでの実験管理に使用できるPhoenixを使ってみたのでそのメモです。 RAGアプリケーションと評価 RAGアプリケーションの評価 Arize Phoenix 類似ツール 使ってみる Tutorial ローカルでの管理 参考文献 感想 RAGアプリケーションと評価 Retrieval-Augmented Generation (RAG)は、LLMに外部の知識ソースからの追加情報を提供することで、LLM自体が知らない知識を補い、より正確で文脈に沿った答えを生成するアプリケーションです。 大まかには下記のような流れで動作します。 ユーザーからのクエリをもとに関連するドキュメントを検索 (retrieve) ユーザーのクエリ、関連するドキュメントを含めた形でプロンプトを動的に作成 (Aug

2023年くらいからLLMがブームになってますが、自分はというとChatGPTをそのまま使っていたくらいで、それ以上はLLMに特に触っていませんでした。 正直そんなに興味はなかったんですが、まったく知らないのはそれはそれでまずいと思うようになりました。 ということで、今回はLLMを使用する代表的な設計パターンであるRAGについてサラッと触っていきたいと思います。 RAG？ LlamaIndex 良いところ とりあえず作ってみる データセット作成 LlamaIndexを使った実装 動かしてみる 下準備 動作確認 主要なコードを読む リポジトリ 参考文献 感想 RAG？ 多分これを読んでいる人には釈迦に説法な気はしますが、RAGについて一応書いときます。 RAGは、大規模言語モデル(LLM)と外部知識検索を組み合わせた 生成AI設計パターン です。 RAGは、リアルタイムデータを生成AIアプリ

先日、Twitterの推薦アルゴリズムがGitHubで公開されました。 Twitter recommendation source code now available to all on GitHub https://t.co/9ozsyZANwa— Elon Musk (@elonmusk) 2023年3月31日 Twitter上で非常に盛り上がっており、すでにいろんな方がアルゴリズムに対して解説されています。 個人的にも興味深いと思っているので、何番煎じかわかりませんが自分も備忘録を書いていきたいと思います。 全体像 全体の構成 データ取得〜特徴量作成 候補集合作成〜Feed作成 (Home Mixer) Candidate Sourcing Ranking Heuristics & Filtering Mixing and Serving Candidate Source sear

ここ数ヶ月くらい、推薦システムにおけるNNの活用というテーマで論文をちょこちょこ読んでいました。 推薦システムにNNを適用・応用するという守備範囲も広いテーマではありますが、せっかく良い機会なので自分用にまとめてみたいと思います。 理解が曖昧なところもあり、マサカリが飛んできそうな気配がプンプンしますが、がんばって書いてみたいと思います。マサカリコワイ... 前提知識 協調フィルタリング Matrix Factorization Factorization Machine ニューラルネットワークの推薦システムへの応用の傾向 Feature EngineeringとしてのNN Wide & deep DeepFM DCN AutoInt DCN V2 系列データとして取り扱うNN prod2vec AttRec BERT4Rec Transformers4Rec 参考文献 読んだ論文をまとめ

”Attention is All You Need”というタイトルでTransformerの論文が発表されてから随分経ちます。 ただ、最近は”大事なのはSelf Attentionじゃない”といった趣旨の論文をちらほら見かけるようになってきていると感じていて、これについて自分用のメモがてらまとめてみようと思います。 出発点：Transformer Transformer Vision Transformer (ViT) Attention Attentionを使わなかったモデル MLP-Mixer MetaFormer (PoolFormer) gMLP ConvNeXt Attentionは本当に大事？に関する私見 参考文献 論文メモ 感想 出発点：Transformer まずはTransformerの構造について紹介しないと、Self Attentionが重要かどうか云々についてもわ

最近こちらのサイトを参考にfeature storeに関して勉強してみたので、今回はそのメモです。 www.featurestore.org Why：なぜ必要か？ 機械学習の実運用時の困りごと 実験環境と本番環境を揃えたい 過去のある時点の状況を再現したい 特徴量に関する車輪の再発明をなくしたい 歴史的経緯 What：Feature Storeとはなにものか？ 求められる要件 共有性 学習系と推論系の一貫性 Feature Engineeringと透明性 バージョン管理と再現性 ガバナンスとアクセスコントロール バッチとオンライン処理 How：どうやって実現する？ 標準的なFeature Storeの構成 Serving Storage Transformation Monitoring Registory その他、主なプロダクト群 OSS Feast Hopsworks Rasgo マネ

時系列分析というと、SARIMAモデルや状態空間モデルなどがよく使われているかと思います。 私自身、これらのモデルについて一つの系列データについてモデルを適用したことはありますが、複数の系列データが影響するようなモデルについては扱ってきませんでした。 今回はある系列データが予測対象の系列データに影響を与えている状況を考え、これをベイズ構造時系列モデルが適用して考えてみたいと思い、実際にやってみたので、今回はそのメモです。 ベイズ構造時系列モデル 構造時系列モデル ベイズ構造時系列モデルの概要 問題意識 アプローチ spike-and-slab事前分布 ベイズ平均化法 使えそうなライブラリ サンプルコード TensorFlow Probability 自分でもやってみる 書いたコードの残骸 参考文献 感想 ベイズ構造時系列モデル 構造時系列モデル まずは構造時系列モデルについて簡単に確認しま

この記事はMLOps Advent Calendar 2020 - Qiita7日目の記事です。 機械学習では、データサイエンティストは実に多くの実験を行い、膨大な数の実験からより良いモデルへと繋がる着想を得ていきます。 逆に言えば、機械学習に関する開発においては非常に多くの実験が行われ、それらを効率よく・適切に管理することができなければ、優れたモデルを効率よく開発することへの妨げになってしまいかねません。 このように、機械学習に関する開発において実験管理は非常に重要な役割を果たすと私は考えています。 しかし、実験管理と一口に言っても、ノートブックのバージョン管理だったり、ハイパーパラメータの違いの記録、はたまた学習時のバリデーションスコアの記録など、細かな要素は多岐にわたります。 そして、こうした細かな「やらなければならないこと」に簡単に対応することは意外と難しく、やらなければならないが

可愛かったのでアイキャッチ画像にしました ちょっと画像検索が必要になることがあり、良い機会なので復習しようということになりました。 過去にはこんなのをやってみたりしました。 www.nogawanogawa.com 今回は改めて、主にこちらの資料を参考に画像検索に関して復習してみました。 docs.google.com 今回はこちらを参考にアプリを作ってみたのでそのメモです。 画像検索 TBIRとCBIR CBIRの実現方法 画像検索として使用する特徴量 RGB Histgram Average Hash Perceptual Hash SIFT SURF NN Embedding 類似度の評価方式 Bag of keypoints Earth Mover's Distance SVM ハミング距離 コサイン類似度 要するに 作ってみる 対象画像 画面まわり 検索周り pHash - ハミ

最近GiNZAを使って固有表現抽出するという記事をよく見かける気がします。具体的には、この辺りの記事を見てました。 acro-engineer.hatenablog.com qiita.com www.ai-shift.jp ということで、なんだか面白そうで、自分でもやってみたのでそのメモです。 固有表現抽出 is なに? GiNZA is なに？ やってみる データセット 環境 固有表現抽出 追記（2022-06-12） 参考にさせていただいたサイト 感想 固有表現抽出 is なに? wikipediaによれば、こんな感じで書いてあります。 固有表現抽出（こゆうひょうげんちゅうしゅつ、英: named entity recognition、named entity identification、named entity chunking、named entity extraction）と

前に、Weights & Biasesを使って実験管理する方法をやってみました。 www.nogawanogawa.com 最近のkaggle強い方々のtweetを見る限り、mlflowで実験管理をするのが徐々に普及している感じがしますが、その流れもあってかwandbなどの実験管理サービスを使用する事例も見られるようになっている印象です。 Comet.mlもwandbと同様、実験管理ができるサービスとなっています。 というわけで、今回はComet.mlを使用してみたので、そのメモです。 Comet.ml is 何？ でも、お高いんでしょう？ 使ってみる Pytorch 複数実験の比較表示 個別の実験の詳細表示 良いと感じたところ 惜しいと感じたところ 想定される使い方 感想 Comet.ml is 何？ www.comet.ml Comet.mlはwandbなどと同様、機械学習の実験管理を

この前はluigiを使ってみてました。 www.nogawanogawa.com この前参加したの勉強会で登壇者のみなさんがgokart激推しだったので、今回はエムスリーさんで開発されているgokartを使ってみたいと思います。 （エムスリーさん主催の勉強会で、登壇者の半分がエムスリーさんだったから激推しなのは当然っちゃ当然なんですが...） なにはともあれ、やってみたいと思います。 gokart cookiecutter-gokart thunderbolt redshells 使ってみる 題材：SCDV フロー luigiでの実装 gokartを使った実装 redshellsを使った実装 github 感想 gokart github.com gokartの説明は、エムスリーさんのブログが非常にわかりやすかったです。 www.m3tech.blog あと、個人的にはこちらの記事も非常に

機械学習系の話題が多い昨今ですが、実際触ってみると期待した精度・結果が出ないなんてことはよくあることではないでしょうか。 機械学習特有の性質として、データ自体がモデルを変化させ、結果として業務に影響を与えたりします。 仮に、機械学習屋さんが精度が出るモデルを構築したと言っても、それを導入するときに、システム全体での品質の維持に苦労したりします。 ということで、不確実性の大きい機械学習系開発についての、設計・テスト戦略でどうやってリスクを低減していけるかが一つカギになってくると思い、方法論について勉強しましたので、そのメモです。 非常に参考にしたのはこちら。 arxiv.org テストそのもののテクニックなどは、一般的なテスト駆動開発に関する書籍を合わせてをご参考ください。 テスト駆動開発 作者:Kent Beck発売日: 2017/10/14メディア: 単行本（ソフトカバー） テスト駆動P

MLOpsに関してちゃんと勉強中でして、色々事例とか調べてました。 とは言うものの、現在ではMLOpsを様々な観点から語られて、MLOpsという言葉にいろんな意味が含まれています。 という事情から色々探していたら、こちらをお見かけしました。 medium.com 書籍へのリンクはこちらです。 n月刊ラムダノート Vol.1, No.1(2019)（紙書籍＋PDF版） – 技術書出版と販売のラムダノート こちらの書籍では基本的な背景からきれいに整理されていました。 こちらを参考にしつつ、頑張ってMLOpsの動向について整理してみたので、そのメモです。 それでは張り切って書いていきます。 tl;dr; 背景・問題設定 機械学習は学習のアルゴリズムよりその周辺のほうが大きい 機械学習システムに携わる人の役割の違いによってうまくいかないことがある 機械学習システムの構築・運用する上で課題も多い 問

最近、レコメンデーション系のことをやっている関係で色々調べてます。 以前はNGTを使って近傍探索を試していました。 www.nogawanogawa.com Embeddingとかを使った検索やレコメンデーションには近傍探索ライブラリは非常に重要です。 ちょっと調べてみると、メルカリさんがFaissというライブラリを使っているようでした。 tech.mercari.com ちょっと興味が出て使ってみたので、、今回はそのメモです。 近傍探索問題 Faiss インストール 使ってみる 感想 近傍探索問題 近傍探索問題は、データ量に応じて計算量が急激に増大する古典的な問題で、以下のような用途で使われています。 最近傍探索は、以下のような様々な分野で使われている。 ・パターン認識 - 特に光学文字認識 ・統計分類- K近傍法参照 ・コンピュータビジョン ・データベース - 例えば、内容に基づく画像

推薦システムの勉強をちょっとずつ再開している関連で、トピックモデルを勉強してみようと思い、こちらを購入しました。 トピックモデル (機械学習プロフェッショナルシリーズ) 作者:岩田 具治出版社/メーカー: 講談社発売日: 2015/04/08メディア: 単行本（ソフトカバー） 今回はこちらを読んで勉強したことのメモです。 トピックモデル is なに？ モデル化でやりたいこと ユニグラム／混合ユニグラムモデル トピックモデルの生成過程 トピックモデル一巡り トピック is なに？ 具体的な中身について 実際には何を定めればよいか ：トピックごとの単語分布 最尤推定 Map推定（最大事後確率推定） ベイズ推定 混合モデルが含まれたときの単語分布 EMアルゴリズム 変分ベイズ推定 ギブスサンプリング その他、参考にした記事 感想 トピックモデル is なに？ 定義を確認します。 トピックモデルは

気がついたら、前回のブログからだいぶ空いてしまいました。 これまで、Sudachiを使ってユーザー辞書を使おうとした場合には、Sudachi（Java）を使用する必要がありました。 それが最近何やらSudachiPyのリリースがあったらしく、SudachiPyでユーザー辞書が使えるようになったようです。 github.com ということで、今回はそれを使ってみます。 SudachiPyのインストール ユーザー辞書 ユーザー辞書を作成 ユーザー辞書をビルド sudachi.jsonにユーザー辞書を指定 使ってみる Before After Dockerを使ってやってみる Dockerfile 形態素解析 感想 SudachiPyのインストール github.com 普通にReadmeに書いてあるとおりにインストールを進めます。 とりあえずインストールしてみます。 すでに、古いSudachiが

この記事は 情報検索・検索エンジン Advent Calendar 2019 - Qiita 16日目の記事です。 初日から非常に勉強になる記事を拝見させていただいて日々勉強しております。レベルが高すぎて内心ビクビクしてます。。。 何も考えずこのカレンダーに登録した１ヶ月前のアホな自分をぶん殴りたい… 普段、Elasticsearchをつかっているのですが、最近では検索したい対象が文書だけとは限らず、画像を使った検索をしたいことがあります。 ただ、Elasticsearchは全文検索エンジンなので、基本的には画像検索はそのままだと実現は難しいです。 一方、検索機能を一つに集約できると何かと便利なことがあります。 ということで、今回はElasticsearchを使った画像検索をやってみます。 画像検索 方針 検索対象画像 画像 -> Embedding インデクシング 検索 検索データ 応答