DuckDB/DuckDB-Wasm を利用した低コストでの可視化
前提 ミドルウェアのログ可視化 ログサイズは全体で 1 TB 未満 ログは jsonl で出力される まとめ 非同期での可視化 オフラインでの可視化 低コスト DuckDB とは こちらをどうぞ。 DuckDB雑紹介(1.1対応版)@DuckDB座談会 - Speaker Deck サンプル とりあえず動くのが見たい人用です。ソースコードも公開してます。 DuckDB-Wasm + Parquet + S3-compatible object storage + OPFS S3 から Parquet ファイルを fetch して DuckDB-Wasm への登録 OPFS へ Parquet ファイルの保存 OPFS から Parquet ファイルの読み込み DuckDB-Wasm へ登録 SAMPLE 1 の出力 SAMPLE 1 での検索 SAMPLE 1 での Parquet ファイ
DuckDB-WASMを使ってみる - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? DuckDB-WASMを使ってみる 本記事は「 TTDC Advent Calendar 2024 」 25 日目の記事です。 目的 弊社ではデータ解析を行う商品・サービスを提供しています。昨今、ユーザーが利用するデータ量の増加、ユーザービリティの要求変化から、"技術的な興味で"フロントエンドでデータ解析ができないか模索しています。Node.jsでデータ解析ロジックをゴリゴリ書いてもいいですが、DuckDB-WASMを試しているテックブログ(参考[1],[2],[3]など)を多く見かけるようになってきたので、一度試してみようと思ったのが
【12/21】DuckDBの特徴、および使える場面｜Marvel公式note
入社2年目の駒村です。今年はSIerのETL改修案件に携わっており、たくさんのデータベースを扱っています。今回の投稿では、今年に入ってから名前を聞くことが多くなったDuckDBを簡単にご紹介します。既にご存知の方も多いとは思いますが、後半で活用事例も挙げていますのでさらっと読んでいただけると幸いです。 DuckDBとはDuckDBは、オープンソースの組み込み型OLAP (Online Analytical Processing)SQLデータベース管理システム(DBMS)です。意味は以下の通りです。 組み込み型: 単一のプロセス内で動作し、環境構築をしなくても手軽に利用できる。SQLiteと同様。対照は、MySQLやPostgreSQL、Snowflakeなどのクライアント・サーバ型。 OLAPデータベース: 膨大なデータの多次元分析を高速に処理することができる、データ分析に適したデータベー
Next.jsとReactの違いは？特徴やできること、選ぶ基準を解説
JavaScriptで仕事をするときに頻繁に名前があがるのが、Next.jsとReactです。とはいえ、両者の違いがよくわからない人もいるでしょう。 違いや業務に対する向きと不向きを把握すると、選択する基準がわかります。本記事ではNext.jsとReactの違いやできることを比較しながら解説するので、どちらを使うか悩んでいる方はぜひ参考にしてください。 Next.jsとReactの違いは？ Next.jsとReactの名前は知っていても、どのような違いがあるかを知らない方もいるでしょう。ここでは、JavaScriptを用いた開発で導入できるNext.jsとReactの違いや特徴を解説します。 Next.jsとReactの違い Next.jsとReactはそれぞれ、JavaScriptを用いたWebアプリケーションの作成に利用できるフレームワークとライブラリです。JavaScriptでの開発
Puppeteer | Puppeteer
Puppeteer is a JavaScript library which provides a high-level API to control Chrome or Firefox over the DevTools Protocol or WebDriver BiDi. Puppeteer runs in the headless (no visible UI) by default Get started | API | FAQ | Contributing | Troubleshooting Installation npm i puppeteer # Downloads compatible Chrome during installation. npm i puppeteer-core # Alternatively, install as a library, wi
Pyodide — Version 0.27.5
Pyodide# Pyodide is a Python distribution for the browser and Node.js based on WebAssembly. What is Pyodide?# Pyodide is a port of CPython to WebAssembly/Emscripten. Pyodide makes it possible to install and run Python packages in the browser with micropip. Any pure Python package with a wheel available on PyPI is supported. Many packages with C extensions have also been ported for use with Pyodide
clasp と TypeScript で GAS の開発環境を整えた備忘録
TL;DR ちょっとした仕事で GAS を使うときがある ローカルで clasp と TypeScript を使って開発する環境を整えた（が、いまの自分の用途ではここまでしなくてもよかった） 完全に忘れそうなので備忘録としてブログに残しておく 仕事で Google Workspace を使っていると、そのサービスを使ったちょっとしたタスクをするときに Google App Script (GAS) を使う時がある。 ちょっとしたコードにトリガーを設定して定期実行するというのも便利だったりする。 スクリプトエディタで書いてたりもしたが、Git/GitHub での管理がしづらかったり、ローカルでの開発環境を提供する clasp https://github.com/google/clasp が TypeScript をサポートしているという話を知ったり（だいぶ遅い）して、せっかくなのでローカル
Open Source Test Automation Framework | Gauge
Less Code, Less Maintenance, More Acceptance Testing Gauge is a free and open source test automation framework that takes the pain out of acceptance testing Gauge + Taiko = Reliable browser automation for your JavaScript tests! Create readable and maintainable tests Gauge tests are in Markdown which makes writing and maintaining tests easier. Reuse specifications and robust refactoring to reduce d
Kite - Programming copilot
From 2014 to 2021, Kite was a startup using AI to help developers write code. We have stopped working on Kite, and are no longer supporting the Kite software. Thank you to everyone who used our product, and thank you to our team members and investors who made this journey possible. Our journey at Kite While we built next-generation experiences for developers, our business failed in two important w
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
What is Mosaic? | Mosaic
GitHub - voluntas/duckdb-wasm-parquet
argilla/synthetic-text-classification-news · Datasets at Hugging Face
Visual Viewport - Glossary | MDN
viteでReact×TypeScript環境を爆速で作る最小版 - Qiita
sqlite3 WebAssembly & JavaScript Documentation Index
🏗️【2025年版】Webフレームワーク&ライブラリ徹底比較 🚀 - Qiita
GitHub - myliang/x-spreadsheet: The project has been migrated to @wolf-table/table https://github.com/wolf-table/table
GitHub - observablehq/plot: A concise API for exploratory data visualization implementing a layered grammar of graphics
GitHub - sql-formatter-org/sql-formatter: A whitespace formatter for different query languages
sql.js