【個人開発】非エンジニアがClaude CodeとDuckDB-WASMで、100万行サクサクのCSV分析ツールを作った話 - Qiita
はじめに 個人開発で、ブラウザ完結で100万行のCSVをサクサク処理する「LeapRows」というツールを作りました🎉 特徴はDuckDB-WASMとOPFSを使い、すべての処理がブラウザ内で完結することで、データは一切外部に送信されません。 私はエンジニアではなく、部分的な手直しやデバッグでは少しだけコードを書きましたが、コードの95％以上はClaude Codeに書いてもらっています。 もちろんコードの1行1行を完璧に理解できているわけではありません。だからこそ、AIが書いたコードを無責任にそのまま公開することだけは避けたいと考え、CLAUDE.mdでの実装ルールの策定、OWASP TOP10に沿ったセキュリティ監査のSkills、コミット前の簡易チェックHooksなど、非エンジニアなりに品質管理の仕組みを可能な限り整えました。 十分とは言えないかもしれませんが、少なくとも"祈ってデ
DuckDBにMVTが来た！フロントで完結するベクトルタイル配信
先日、DuckDBで ST_AsMVT、ST_AsMVTGeom関数が利用できるようになりました。 ということは、DuckDB WASMを用いることで、ファイルをアップロード、格納、MVTの配信がフロントエンドで完結するということなのでは？と思ったのが始まりでした。 恥ずかしながらDuckDBというツール自体をあまり使ったことがなかったので、勉強がてら実装してみました。 (使用するツール・フレームワークはSveltekit、DuckDB WASMです。) 本編 DuckDB WASMの使い方はありふれていると思うので導入部分は割愛します。 今回やりたいことは「ブラウザで適当にGeoなファイルを投げてMVTを配信して表示する」です。 出来上がったものがこちらです。 リポジトリはこちらです。 この2つのファイルを読んでおけばひととおり網羅できます。 さて、以下のようにコードを書いていきます。全
DuckDB-Wasm, MapLibre GL JS, CloudFlare Pagesを使って、オープンデータを可視化してみたときの学び
2.検証背景&開発動機 voluntas さんの記事を参考に、S3 のログ検索用に DuckDB-Wasm を触る機会があり、「ログ以外でも DuckDB-Wasm を使えるところがあるんじゃないかなあ？」と考えていたところ、「Cloudflare Pages と DuckDB-Wasm を組み合わせれば、オープンデータを使って、サーバーサイドの処理を持たない SSG を用いたサイトを作れるんじゃないかな？」と思いついたのがきっかけです。 個人で開発することもあり、サイトの維持費が無料の範囲内で、あまり固い言葉を使わず、今まで訪れたことのある市区町村やニュースで話題になる市区町村のデータを旅行するような感覚でゆるく眺められるサイトを目指して開発してみました。 なお、政府が運営しているサイトだと、下記のようなサイトがあります。データの正確性や網羅性という観点だと公式のサイトを紹介しておいた方
q-finder: 素敵な金融論文と出会いポロリを探求しよう
はじめに 金融や投資に関する学術研究は日々進化していますが、最新の研究論文を効率よく発見する手段は意外と限られています。特に、非専門家が膨大な量の論文から興味のあるものを見つけ出すことは容易ではありません。 そこで私たちは「q-finder」を開発しました。arXivの金融（q-fin）カテゴリの論文を直感的なスワイプインターフェースで閲覧できる、いわゆる「Tinder for Papers」アプリケーションです。このアプリケーションは完全にクライアントサイドで動作し、特別なサーバー構築なしで簡単にデプロイできます。 技術スタック q-finderの特徴的な技術スタックを紹介します： フロントエンド: 純粋なHTML/CSS/JavaScriptによる実装（フレームワークレス） データ処理: DuckDB-wasm（ブラウザ上で動作するSQLデータベース） データ形式: Apache Pa
ブラウザでオフライン日本語インスタント全文検索を実現する
DuckDB の FTS (Full Text Search) 拡張と Lindera を利用する事で、日本語全文検索を実現できますが、DuckDB-Wasm と Lindera-Wasm を利用する事でブラウザで日本語全文検索を実現できます。Wasm なので完全オフラインで、利用できます。 さらに、クライアントのリソースということもあり一文字ずつ入力された値に対して Lindera-Wasm で形態素解析して、SQL を実行することでインスタント検索も実現できます。 DuckDB-Wasm (FTS 拡張) + Lindera-Wasm技術的には特に難しいことはしておらず、DuckDB-Wasm の FTS 拡張に Lindera-Wasm で形態素解析した結果を引数として渡して実行しているだけです。 デモサイトを用意しておきました、もし良ければ試してみてください。 DuckDB-Wa
DuckDB-Wasm を利用したブラウザでのログ解析機能
時雨堂の自社サービスのアピールが含まれます 概要 これは自社サービスの管理者用ダッシュボードのログ解析機能として DuckDB-Wasm を採用したので雑に紹介します。 DuckDB とは こちらをどうぞ。 DuckDB雑紹介(1.1対応版)@DuckDB座談会 - Speaker Deck まとめ DuckDB-Wasm を利用する事でクライアントリソースが利用できるようになった Parquet ファイルを OPFS に保存できるようになり、オフラインで利用できるようになった 自分が求めるレベルでの可視化は全て DuckDB/DuckDB-Wasm で十分だとわかった ダッシュボードの実装 自社が提供している 自社パッケージ製品を検証できるサービス の管理者用ダッシュボード(以降ダッシュボード)で DuckDB-Wasm を利用してログ解析をブラウザ上で実現しています。 Fluent B
TSKaigi Kansaiから帰ってきてDuckDB Wasmで遊んだ - Mitsuyuki.Shiiba
カケハシのスタッフとしてTSKaigi Kansaiに参加して楽しんできた。 スポンサーのランチLTでカケハシのメンバーも喋るからブースを抜け出して見に行ってたら、newmoの大貫さんのLTで「DuckDB Wasmを使ってクライアントだけで処理したよ！」って発表があって、面白いなーと思ったのだった。 kansai.tskaigi.org ので、遊んだ DuckDBは初めて知ったし、Wasmには興味があるので、遊んでみた。GitHub Pagesにアップロードしておいた。11/18の日本各地の最高気温が分かるよ！ https://bufferings.github.io/vite-react-duckdb-wasm/ やってるのは DuckDB Wasmをクライアントで取得して e-Govデータポータルの11/18の最高気温のCSVをDuckDBに入れて そのDBの内容をテーブルに表示 テ
なぜ DuckDB を採用したのか
概要 なぜ 自社 で DuckDB を採用したのかを、雑に書いていきます。 変更履歴 2025-03-12: DuckDB の開発体制と Zstandard で圧縮されたファイルの読み込みについて追記 2025-02-13: 今後やりたい事 v2 を追記 まとめ DuckDB / DuckDB-Wasm を利用する事で中小規模のサービスであれば、ログ解析や統計情報の可視化を低コストで提供することができる DuckDB を go-duckdb 経由で利用する事で、HTTP リクエスト単位での DuckDB を利用できる DuckDB-Wasm と OPFS を利用する事で、クライアント側での統計情報のため込みができるようになる 解決したい課題 解決したい課題は基本的にサービスの運用費を抑えるということです。中小規模のサービスでは運用費が大きな課題になります。 自社パッケージ向けのログ解析ツー
DuckDB/DuckDB-Wasm と Postgres と S3 を組み合わせるメモ
モチベーション Postgres は OLTP として利用したい DuckDB は OLAP として利用したい 集計を Postgres でやらず、独立した DuckDB でやりたい データ保存は S3 を利用したい 保存先として一番安い 一定期間経ったら削除が簡単にできる 細かいデータ処理は DuckDB-Wasm を利用してクライアント側のリソースを利用したい 一度前処理したデータは S3 に Parquet 形式で置いておきたい 転送量ボトルネックに寄せる Cloudflare R2 などを利用すれば転送量はかからなくなる 概要 DuckDB は Postgres に直接アクセスできる仕組みを持っている PostgreSQL Extension – DuckDB Postgres のテーブルを DuckDB に持ってこれる COPY でテーブルを Parquet ファイルにすることが
DuckDB メモ v2
前提 自社製品では JSONL 形式のログが色々出力される 自社製品は分散システムなためログも分散する 自社サービスのログファイルは大きくても無圧縮で 1 日 100 GB いかない程度 Fluent Bit で gzip で圧縮した JSONL 形式のログを S3 互換オブジェクトストレージ (以下 S3) に保存する モチベーション 自社パッケージ製品のクラウドサービスで、顧客にログ解析情報を提供したい その仕組みを OSS 化して、自社パッケージ製品を利用している顧客が利用できるようにしたい S3 から gzip で圧縮された JSONL ログ(複数) を取得して、横断的に解析したい 自動でスキーマは作成してほしい 解析結果を DuckDB ファイルとして出力し S3 へ保存したい 出力した DuckDB ファイルを DuckDB-Wasm で読み込ませたい コストを低くしたい 転送
DuckDB-Wasm + DuckDB-Spatial = Webブラウザ上で完結する地理空間情報分析
本日のデモ： 本日のソースコード： おっと、待たせたねぇ！今日は「DuckDB-Wasm」と「DuckDB-Spatial」についてご案内いたしやすよ！ この記事を読めば、ブラウザだけで地理空間情報の分析をサクッとこなせすための環境構築や、便利な関数を使った地理空間情報分析の基本がバッチリわかるって寸法よ！これを知っときゃ、サーバーいらずで本格的な地理空間情報分析ができちまうし、つまずきやすいポイントもスッキリ解消！あんたもいますぐ地理空間情報分析の達人になれるこたぁ間違いなしだ！さぁ、江戸っ子の心意気で、いますぐその手で試してみな！ Vite.js + React でやんでぇ！まず、Vite.js + React + TypeScriptを開発環境の基板とするってのは、問答無用で決まりだ！ほかにゃ選択肢はねぇってわけよ。Viteの速さ、Reactの使いやすさと豊富なライブラリのエコシステ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - dataspren-analytics/datastudio: A local Python/SQL notebook in the browser for exploring, transforming and visualizing data using WebAssembly.
ブラウザだけで動くdbt（っぽい）環境「DuckBT」を作った話【DuckDB-WASM】