JavaScript環境で使えるJupyter Notebook風のWebサービス「Dnotebook」を使ってみた！ -
どうも、まさとらん（@0310lan）です！ 今回はJavaScript環境で動くJupyter Notebookのような無料Webサービスをご紹介します。 インタラクティブに動作するJavaScriptを活用したドキュメント作りが可能であり、学習用途はもちろんのことデータ分析・可視化・機械学習・プロトタイプ作りなど、さまざまな用途に活用できるのが特徴です。 JavaScriptを使ったドキュメント作りにご興味ある方はぜひ参考にしてみてください！ ちなみにJavaScriptの基本は、paizaラーニングの「JavaScript入門編」で学ぶことができます。 【 Dnotebook 】 ■「Dnotebook」の使い方 それではさっそくですが、「Dnotebook」をどのように使っていけばいいのか詳しく見ていきましょう。 「Dnotebook」はnpmからインストールしてローカル開発環境で
データバージョンの管理とは？ データバージョンの管理とは、バイナリデータのバージョンを管理することを指します。データバージョンの管理は、Git 等でのコードのバージョン管理をバイナリデータに拡張しています。実験の再現性を高められるメリットがあります。 DVC とは？ データのバージョンを管理する機能をもつオープンソースソフトウェアです。データのハッシュをテキストファイルで保持し git でバージョン管理します。また、yaml ファイルで実行パイプラインを定義して監視対象データが更新された際にハッシュを更新することで、新しいハッシュ値を含んだデータをバージョン管理します。更新されたデータファイルはキャッシュディレクトリに保存され、必要なタイミングで自動的に復元されます。 データのリモートリポジトリを定義することで、データ一式を簡単なコマンド操作で S3 等へ push / pull すること
概要 この記事を読む対象者 生成系AI（ChatGPTなど）の連携に興味があるWordpressを使う人。 この記事の内容 WordPressの独自データを活用し、RAGを使った簡易チャット機能を構築する手順。 この記事を読んで分かること CSV+BIN形式で記事要約を埋め込み検索し、WordPress REST API経由でChatGPTに回答させる実装方法。 序説 みなさん、WordPressでのサイト運営は楽しんでいますか？ 中にはフルスクラッチで構築する方もいらっしゃいますが、簡単に導入・管理ができるCMS[1]を使う方も多いのではないでしょうか。 本記事では、そんなWordPressを使いながら RAG[2] を用いた検索機能の構築を紹介します。 成果物 以下の画像のように、WordPress上に用意したチャット画面でユーザが質問を入力すると、 1. 生成AI（ChatGPT）に
Introduction 最近は大量のデータを扱う機会も多くなりました。 機械学習でも、モデル作成するときにデータはとても重要ですし、 データ分析をおこなってビジネス上の意思決定を行うこともあります。 そういったとき、データの量も重要ですが品質も大事になってきます。 プログラム開発をおこなうとき、プログラムに対してテストを記述して品質を担保します。 データに対してもテストを作成することでデータに対する品質を保証します。 本稿ではAmazon Deequを使用したデータのテスト方法について紹介します。 Deequ? Deequとは、Amazonで開発されているOSSのデータ用テストツールです。 データに対してデータ品質メトリクス計算やデータ品質の制約チェックなどが可能です。 DeequはApache Spark上で動作し、大規模なデータセット(数十億レコード規模らしい) に対してスケール可能
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
実験の再現性を高めるデータバージョン管理（DVC）の紹介 - techtekt
ChatGPTにサイトを丸ごと読ませる!? WordPress×RAGで進化するQ&A
Deequでデータ品質をテストする | DevelopersIO