データバージョンの管理とは？ データバージョンの管理とは、バイナリデータのバージョンを管理することを指します。データバージョンの管理は、Git 等でのコードのバージョン管理をバイナリデータに拡張しています。実験の再現性を高められるメリットがあります。 DVC とは？ データのバージョンを管理する機能をもつオープンソースソフトウェアです。データのハッシュをテキストファイルで保持し git でバージョン管理します。また、yaml ファイルで実行パイプラインを定義して監視対象データが更新された際にハッシュを更新することで、新しいハッシュ値を含んだデータをバージョン管理します。更新されたデータファイルはキャッシュディレクトリに保存され、必要なタイミングで自動的に復元されます。 データのリモートリポジトリを定義することで、データ一式を簡単なコマンド操作で S3 等へ push / pull すること
概要 この記事を読む対象者 生成系AI（ChatGPTなど）の連携に興味があるWordpressを使う人。 この記事の内容 WordPressの独自データを活用し、RAGを使った簡易チャット機能を構築する手順。 この記事を読んで分かること CSV+BIN形式で記事要約を埋め込み検索し、WordPress REST API経由でChatGPTに回答させる実装方法。 序説 みなさん、WordPressでのサイト運営は楽しんでいますか？ 中にはフルスクラッチで構築する方もいらっしゃいますが、簡単に導入・管理ができるCMS[1]を使う方も多いのではないでしょうか。 本記事では、そんなWordPressを使いながら RAG[2] を用いた検索機能の構築を紹介します。 成果物 以下の画像のように、WordPress上に用意したチャット画面でユーザが質問を入力すると、 1. 生成AI（ChatGPT）に
Introduction 最近は大量のデータを扱う機会も多くなりました。 機械学習でも、モデル作成するときにデータはとても重要ですし、 データ分析をおこなってビジネス上の意思決定を行うこともあります。 そういったとき、データの量も重要ですが品質も大事になってきます。 プログラム開発をおこなうとき、プログラムに対してテストを記述して品質を担保します。 データに対してもテストを作成することでデータに対する品質を保証します。 本稿ではAmazon Deequを使用したデータのテスト方法について紹介します。 Deequ? Deequとは、Amazonで開発されているOSSのデータ用テストツールです。 データに対してデータ品質メトリクス計算やデータ品質の制約チェックなどが可能です。 DeequはApache Spark上で動作し、大規模なデータセット(数十億レコード規模らしい) に対してスケール可能
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
実験の再現性を高めるデータバージョン管理（DVC）の紹介 - techtekt
ChatGPTにサイトを丸ごと読ませる!? WordPress×RAGで進化するQ&A
Deequでデータ品質をテストする | DevelopersIO