なぜ DuckDB を採用したのか
概要 なぜ 自社 で DuckDB を採用したのかを、雑に書いていきます。 変更履歴 2025-03-12: DuckDB の開発体制と Zstandard で圧縮されたファイルの読み込みについて追記 2025-02-13: 今後やりたい事 v2 を追記 まとめ DuckDB / DuckDB-Wasm を利用する事で中小規模のサービスであれば、ログ解析や統計情報の可視化を低コストで提供することができる DuckDB を go-duckdb 経由で利用する事で、HTTP リクエスト単位での DuckDB を利用できる DuckDB-Wasm と OPFS を利用する事で、クライアント側での統計情報のため込みができるようになる 解決したい課題 解決したい課題は基本的にサービスの運用費を抑えるということです。中小規模のサービスでは運用費が大きな課題になります。 自社パッケージ向けのログ解析ツー
DuckDB/DuckDB-Wasm を利用した低コストでの可視化
前提 ミドルウェアのログ可視化 ログサイズは全体で 1 TB 未満 ログは jsonl で出力される まとめ 非同期での可視化 オフラインでの可視化 低コスト DuckDB とは こちらをどうぞ。 DuckDB雑紹介(1.1対応版)@DuckDB座談会 - Speaker Deck サンプル とりあえず動くのが見たい人用です。ソースコードも公開してます。 DuckDB-Wasm + Parquet + S3-compatible object storage + OPFS S3 から Parquet ファイルを fetch して DuckDB-Wasm への登録 OPFS へ Parquet ファイルの保存 OPFS から Parquet ファイルの読み込み DuckDB-Wasm へ登録 SAMPLE 1 の出力 SAMPLE 1 での検索 SAMPLE 1 での Parquet ファイ
DuckDB-WASMを使ってみる - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? DuckDB-WASMを使ってみる 本記事は「 TTDC Advent Calendar 2024 」 25 日目の記事です。 目的 弊社ではデータ解析を行う商品・サービスを提供しています。昨今、ユーザーが利用するデータ量の増加、ユーザービリティの要求変化から、"技術的な興味で"フロントエンドでデータ解析ができないか模索しています。Node.jsでデータ解析ロジックをゴリゴリ書いてもいいですが、DuckDB-WASMを試しているテックブログ(参考[1],[2],[3]など)を多く見かけるようになってきたので、一度試してみようと思ったのが
【12/21】DuckDBの特徴、および使える場面｜Marvel公式note
入社2年目の駒村です。今年はSIerのETL改修案件に携わっており、たくさんのデータベースを扱っています。今回の投稿では、今年に入ってから名前を聞くことが多くなったDuckDBを簡単にご紹介します。既にご存知の方も多いとは思いますが、後半で活用事例も挙げていますのでさらっと読んでいただけると幸いです。 DuckDBとはDuckDBは、オープンソースの組み込み型OLAP (Online Analytical Processing)SQLデータベース管理システム(DBMS)です。意味は以下の通りです。 組み込み型: 単一のプロセス内で動作し、環境構築をしなくても手軽に利用できる。SQLiteと同様。対照は、MySQLやPostgreSQL、Snowflakeなどのクライアント・サーバ型。 OLAPデータベース: 膨大なデータの多次元分析を高速に処理することができる、データ分析に適したデータベー
WebAssemblyでの機械学習モデルデプロイの動向
本記事はMLOps Advent Calendar 2020の 2 日目の記事です。 WebAssembly（Wasm）は機械学習モデルをデプロイする新たな手段になりうるでしょうか。 この記事では、機械学習モデル（特に Deep Learning）を Wasm でデプロイする周辺技術の動向や内部の仕組みをざっくりと説明します。 Table of Contents tkat0 です。WebAssembly(Wasm)面白いですね。 私も最近はyewでフロントエンドを書いて遊んでいます。Rust で React っぽいことできるのは新鮮で面白いです。 Wasm は、なんとなく速い JavaScript？とか機械学習で何に役立つの？とか思ってる方も多いと思います。 しかし、Wasm はブラウザでの推論時に使えるだけでなく、機械学習モデルのサービングやエッジデバイスでの推論にも使えると知ったら驚き
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
DuckDB-Wasm: Fast Analytical Processing for the Web
PGlite
GitHub - mehd-io/pypi-duck-flow: end-to-end data engineering project to get insights from PyPi using python, duckdb, MotherDuck & Evidence
https://dl.acm.org/doi/10.14778/3554821.3554847
DuckDB Wasm
What is Mosaic? | Mosaic
MotherDuck Wasm Client | MotherDuck Docs
The Serverless Backend for Analytics: Introducing MotherDuck’s Native Integration on Vercel Marketplace - MotherDuck Blog
GitHub - voluntas/duckdb-wasm-parquet
argilla/synthetic-text-classification-news · Datasets at Hugging Face
GitHub - vega/falcon: Brushing and linking for big data