DuckDB/DuckDB-Wasm を利用した低コストでの可視化
前提 ミドルウェアのログ可視化 ログサイズは全体で 1 TB 未満 ログは jsonl で出力される まとめ 非同期での可視化 オフラインでの可視化 低コスト DuckDB とは こちらをどうぞ。 DuckDB雑紹介(1.1対応版)@DuckDB座談会 - Speaker Deck サンプル とりあえず動くのが見たい人用です。ソースコードも公開してます。 DuckDB-Wasm + Parquet + S3-compatible object storage + OPFS S3 から Parquet ファイルを fetch して DuckDB-Wasm への登録 OPFS へ Parquet ファイルの保存 OPFS から Parquet ファイルの読み込み DuckDB-Wasm へ登録 SAMPLE 1 の出力 SAMPLE 1 での検索 SAMPLE 1 での Parquet ファイ
DuckDB-WASMを使ってみる - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? DuckDB-WASMを使ってみる 本記事は「 TTDC Advent Calendar 2024 」 25 日目の記事です。 目的 弊社ではデータ解析を行う商品・サービスを提供しています。昨今、ユーザーが利用するデータ量の増加、ユーザービリティの要求変化から、"技術的な興味で"フロントエンドでデータ解析ができないか模索しています。Node.jsでデータ解析ロジックをゴリゴリ書いてもいいですが、DuckDB-WASMを試しているテックブログ(参考[1],[2],[3]など)を多く見かけるようになってきたので、一度試してみようと思ったのが
【12/21】DuckDBの特徴、および使える場面｜Marvel公式note
入社2年目の駒村です。今年はSIerのETL改修案件に携わっており、たくさんのデータベースを扱っています。今回の投稿では、今年に入ってから名前を聞くことが多くなったDuckDBを簡単にご紹介します。既にご存知の方も多いとは思いますが、後半で活用事例も挙げていますのでさらっと読んでいただけると幸いです。 DuckDBとはDuckDBは、オープンソースの組み込み型OLAP (Online Analytical Processing)SQLデータベース管理システム(DBMS)です。意味は以下の通りです。 組み込み型: 単一のプロセス内で動作し、環境構築をしなくても手軽に利用できる。SQLiteと同様。対照は、MySQLやPostgreSQL、Snowflakeなどのクライアント・サーバ型。 OLAPデータベース: 膨大なデータの多次元分析を高速に処理することができる、データ分析に適したデータベー
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
What is Mosaic? | Mosaic
GitHub - voluntas/duckdb-wasm-parquet
argilla/synthetic-text-classification-news · Datasets at Hugging Face
