q-finder: 素敵な金融論文と出会いポロリを探求しよう
はじめに 金融や投資に関する学術研究は日々進化していますが、最新の研究論文を効率よく発見する手段は意外と限られています。特に、非専門家が膨大な量の論文から興味のあるものを見つけ出すことは容易ではありません。 そこで私たちは「q-finder」を開発しました。arXivの金融（q-fin）カテゴリの論文を直感的なスワイプインターフェースで閲覧できる、いわゆる「Tinder for Papers」アプリケーションです。このアプリケーションは完全にクライアントサイドで動作し、特別なサーバー構築なしで簡単にデプロイできます。 技術スタック q-finderの特徴的な技術スタックを紹介します： フロントエンド: 純粋なHTML/CSS/JavaScriptによる実装（フレームワークレス） データ処理: DuckDB-wasm（ブラウザ上で動作するSQLデータベース） データ形式: Apache Pa
なぜ DuckDB を採用したのか
概要 なぜ 自社 で DuckDB を採用したのかを、雑に書いていきます。 変更履歴 2025-03-12: DuckDB の開発体制と Zstandard で圧縮されたファイルの読み込みについて追記 2025-02-13: 今後やりたい事 v2 を追記 まとめ DuckDB / DuckDB-Wasm を利用する事で中小規模のサービスであれば、ログ解析や統計情報の可視化を低コストで提供することができる DuckDB を go-duckdb 経由で利用する事で、HTTP リクエスト単位での DuckDB を利用できる DuckDB-Wasm と OPFS を利用する事で、クライアント側での統計情報のため込みができるようになる 解決したい課題 解決したい課題は基本的にサービスの運用費を抑えるということです。中小規模のサービスでは運用費が大きな課題になります。 自社パッケージ向けのログ解析ツー
DuckDB/DuckDB-Wasm を利用した低コストでの可視化
前提 ミドルウェアのログ可視化 ログサイズは全体で 1 TB 未満 ログは jsonl で出力される まとめ 非同期での可視化 オフラインでの可視化 低コスト DuckDB とは こちらをどうぞ。 DuckDB雑紹介(1.1対応版)@DuckDB座談会 - Speaker Deck サンプル とりあえず動くのが見たい人用です。ソースコードも公開してます。 DuckDB-Wasm + Parquet + S3-compatible object storage + OPFS S3 から Parquet ファイルを fetch して DuckDB-Wasm への登録 OPFS へ Parquet ファイルの保存 OPFS から Parquet ファイルの読み込み DuckDB-Wasm へ登録 SAMPLE 1 の出力 SAMPLE 1 での検索 SAMPLE 1 での Parquet ファイ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
