DuckDB メモ v2
前提 自社製品では JSONL 形式のログが色々出力される 自社製品は分散システムなためログも分散する 自社サービスのログファイルは大きくても無圧縮で 1 日 10 GB いかない程度 Fluent Bit で gzip で圧縮した JSONL 形式のログを S3 互換オブジェクトストレージ (以下 S3) に保存する モチベーション 自社パッケージ製品のクラウドサービスで、顧客にログ解析情報を提供したい その仕組みを OSS 化して、自社パッケージ製品を利用している顧客が利用できるようにしたい S3 から gzip で圧縮された JSONL ログ(複数) を取得して、横断的に解析したい 自動でスキーマは作成してほしい 解析結果を DuckDB ファイルとして出力し S3 へ保存したい 出力した DuckDB ファイルを DuckDB-Wasm で読み込ませたい コストを低くしたい 転送量
go-graphviz が新しくなりました - Route54
TL;DR goccy/go-graphviz が新しくなり、cgo を使って Graphviz の機能をバインディングしていたところを WebAssembly ( 以降 WASM ) ベースに置き換えたため、晴れて Pure Go になりました。 一部 API のインターフェースが少し変わっていますが、以前できたDOT言語の読み書きやSVG、PNGとしての出力などは全て可能です。それに加え、図中の画像のレンダリングサポートやフォントまわりの改善、最新のGraphvizライブラリへの対応により以前よりもレンダリング処理が改善されています。 また、任意の出力フォーマットに対するレンダリング処理をプラグイン形式で外から追加できるようになったので、terraform graph の内容を読んで構成図を出力するとか、アスキーアート出力するみたいな特殊な処理が実装しやすくなりました。 Graphvi
DuckDB-Wasm + DuckDB-Spatial = Webブラウザ上で完結する地理空間情報分析
本日のデモ： 本日のソースコード： おっと、待たせたねぇ！今日は「DuckDB-Wasm」と「DuckDB-Spatial」についてご案内いたしやすよ！ この記事を読めば、ブラウザだけで地理空間情報の分析をサクッとこなせすための環境構築や、便利な関数を使った地理空間情報分析の基本がバッチリわかるって寸法よ！これを知っときゃ、サーバーいらずで本格的な地理空間情報分析ができちまうし、つまずきやすいポイントもスッキリ解消！あんたもいますぐ地理空間情報分析の達人になれるこたぁ間違いなしだ！さぁ、江戸っ子の心意気で、いますぐその手で試してみな！ Vite.js + React でやんでぇ！まず、Vite.js + React + TypeScriptを開発環境の基板とするってのは、問答無用で決まりだ！ほかにゃ選択肢はねぇってわけよ。Viteの速さ、Reactの使いやすさと豊富なライブラリのエコシステ
『Rustで学ぶWebAssembly』でWasm Component Modelに入門した - たにしきんぐダム
すごく良かった！久しぶりに技術系の本を通読できた気がする gihyo.jp Wasm Component Model の勉強しないとなーと思っていた*1ところに手を動かして学べる本が出たので読んだ！ Wasm Component Model のツールチェーンが一番充実しているのはRustで、これを学ぼうと思うとどうしてもRustを避けることはできないのだが、何分自分はRustに不慣れなので二の足を踏んでいた。 しかしこの本は第一章がRustの簡単な入門に割かれていて、それに本の中のRustのサンプルコードも解説が懇切丁寧に書かれているのでRustの経験がない自分*2でも躓くこと無く読み進めることができました🎉 注意すべき点としてはWasm Component Model、とりわけregistryまわりはまだ変化がとても早く、本をそのまま写経していると動かないこともあるかもしれない。例えば
sqlite3 WebAssembly & JavaScript Documentation Index
This site is home to the documentation for the SQLite project's WebAssembly- and JavaScript-related APIs, which enable the use of sqlite3 in modern WASM-capable browsers. These components were initially released for public beta with version 3.40 and will tentatively be made API-stable with the 3.41 release, pending community feedback. Disclaimer: this site requires a modern, JavaScript-capable bro
Rust始めてみた。JSONフォーマッターを作ってみた | stin's Blog
唐突にRustを使ってみたいと思ったので勉強を始めてみました。 始めた理由始めてみたかった理由は色々あります。 まずはやはりフロントエンド開発ツールが色々とRustで実装されることです。VercelはTurborepoとTurbopackをRustで実装していますね。JavaScriptコンパイラのSWCもRustで実装されています。あとは、uhyoさんのnitrogqlもRustで作られていて、おもしろいなと思いました。そんな感じで、コンパイラ実装でRustがよく使われていることと、ビルドツールなどのテキスト処理に興味があったのが1つ目の理由です。 あとは、Tauriですね。ふとデスクトップアプリを作りたいと思ったときにTauriを調べたんですが、TauriのバックエンドをRustで書けたらかっこいいなと思いました。普通にJavaScriptでも書けるらしいんですが、かっこよさ重視です。
DuckDB/DuckDB-Wasm を利用した低コストでの可視化
前提 ミドルウェアのログ可視化 ログサイズは全体で 1 TB 未満 ログは jsonl で出力される まとめ 非同期での可視化 オフラインでの可視化 低コスト DuckDB とは こちらをどうぞ。 DuckDB雑紹介(1.1対応版)@DuckDB座談会 - Speaker Deck サンプル とりあえず動くのが見たい人用です。ソースコードも公開してます。 DuckDB-Wasm + Parquet + S3-compatible object storage + OPFS S3 から Parquet ファイルを fetch して DuckDB-Wasm への登録 OPFS へ Parquet ファイルの保存 OPFS から Parquet ファイルの読み込み DuckDB-Wasm へ登録 SAMPLE 1 の出力 SAMPLE 1 での検索 SAMPLE 1 での Parquet ファイ
Running Clang in the browser using WebAssembly · Blog · Wasmer
Back to articlesRunning Clang in the browser using WebAssemblyDiscover how to compile C programs directly from JavaScript or any browser (Chrome, Firefox, Safari), and explore the powerful capabilities of the Wasmer JS SDK We’ve reached a major milestone in making any software run with WebAssembly. Thanks to the newest release of Wasmer (4.4) and the Wasmer JS SDK (0.8.0) you can now run clang any
SQLite Wasm + OPFSで簡単アプリ化！ビジネスに活かすWasmとWeb技術
Wasmでお金を稼げるプロダクトは作れるのか？ こんにちは。私は技術者としてはかなりミーハーな部類に入ります。 そんなミーハーな私は盛り上がっている分野についてはとりあえず触ってみたい欲が先行します。 ここ数年で盛り上がっている分野といえば色々とありますが、例えばWasmはソフトウェアエンジニア界隈を中心に盛り上がっている分野の一つとして数えてもよいでしょう。 私自身Webフロントエンド開発なども行っているため、分野的にもWasm、そしてWasmを活用した事例などは気になるところです。 ところでこういった気になる分野の技術については、なるべくビジネス的にも機能する形で落とし込みたいと常日頃考えています。 つまり その技術を使うことでお金を得ることができる という状況で使いたいのです。 これは私の性格的な部分が大いに影響していると思いますが、趣味的な用途でしかその技術を利用しない場合、ちょっ
CloudNative Meets WebAssembly: Exploring Wasm's Potential to Replace Containers
CloudNative Meets WebAssembly: Exploring Wasm's Potential to Replace Containers
Scala の Wasm バックエンドを実装した
Scala.js 1.17.0 で実験的な Wasm backend がサポートされました！ リリースノートに書いてあるとおり、以下のような設定をすることでScala.jsがJSの代わりにWasmモジュール(とモジュールに渡すJS object)を生成することができます。 @JSExport によるモジュールのexportがサポートされていませんが、それ以外のsemanticsはサポートされており、既存のScala.jsアプリケーションを変更なしにWasmにビルドすることが可能なはずです。(もし何か問題があれば教えて下さい!) // Emit ES modules with the Wasm backend scalaJSLinkerConfig := { scalaJSLinkerConfig.value .withExperimentalUseWebAssembly(true) //
WebAssemblyをコンテナイメージとし、コンテナレジストリなどで配布可能にする「Wasm OCI Artifact layout」仕様が登場
WebAssemblyをコンテナイメージとし、コンテナレジストリなどで配布可能にする「Wasm OCI Artifact layout」仕様が登場 WebAssemblyコンポーネントをコンテナイメージとしてDockerレジストリなどで配布可能にする「Wasm OCI Artifact layout」が、「WASI 0.2.1」仕様の一部として公開されました。WASIを推進するBytecode Allianceが発表しました。 WASI（WebAssembly System Interface）は、WebAssemblyをWebブラウザだけでなくサーバサイド上のランタイムなどでも実行可能にする仕様で、W3CのWASIサブグループ（WASISG）が策定しています。 コンポーネントモデルを備えたWASI 0.2が登場 WebAssemblyはもともとWebブラウザ上で高速に実行可能なバイナリフ
WebAssembly を使ったサーバレス開発の基礎と実践 (ServerlessDays Tokyo 2024 配布用資料) - Qiita
WebAssembly を使ったサーバレス開発の基礎と実践 (ServerlessDays Tokyo 2024 配布用資料)WebAssemblyfastlyサーバレスCompute@EdgeFastlyCompute 用語解説 WebAssembly スタックベースの仮想マシン用のバイナリ命令フォーマット しばしば拡張子が .wasm であるバイナリファイルのことを指す それ自体は実行ファイルではなく、Wasmランタイムに読み込ませて動作する ランタイムの例：主要なブラウザ、Wasmtime など WebAssembly が使われているケース ブラウザ上: Figma, Photoshop, Unity, Google Meet etc ブラウザ外(Wasi): エッジコンピューティング, コンテナ, IoT etc 参考リンク https://www.w3.org/groups/wg
wasmCloud - A CNCF Project | wasmCloud
Idle Infrastructure?Does scalability preparedness, unpredictable workloads and long cold starts leave you with inefficient infrastructure and ever-growing cloud costs? Maintaining Apps?Are developers patching the same vulnerabilities and managing updates and dependencies across 100's or 1,000's of apps? Do you have apps that fall behind your golden template?
Rust and WebAssemblyでSPAを作ってみよう
Rust and WebAssemblyでSPAを作ってみよう：Webアプリ実装で学ぶ、現場で役立つRust入門（12） 第12回からは、第11回までで作成した投稿アプリの延長として、Rust and WebAssemblyでTODOアプリを開発します。第12回では、プロジェクトの構築やさまざまな準備のためのコードを通じて、Rust and WebAssemblyの基本的な利用方法を理解します。
Rustで学ぶWebAssembly――入門からコンポーネントモデルによる開発まで
2024年10月10日紙版発売 清水智公 著 B5変形判／256ページ 定価3,300円（本体3,000円＋税10%） ISBN 978-4-297-14413-5 Gihyo Direct Amazon 楽天ブックス 丸善ジュンク堂書店 ヨドバシ.com 電子版 Amazon Kindle honto この本の概要 Webブラウザー上でプログラムを高速に実行するための技術として開発されたWebAssembly（Wasm）ですが，近年では「特定のプログラミング言語・アーキテクチャに依存しない」「プログラムをサンドボックス内で安全に実行できる」という強みに注目が集まっています。さらに，新たに導入される予定の「コンポーネントモデル」によって，大規模なプロジェクトでもWebAssemblyを利用しやすくなる環境が整いつつあります。本書では，プログラミング言語としてRustを採用し，以下の3つの観
セルフホスト型ランタイムによる WebAssembly インストルメンテーションの実現可能性検討/jssst-41
https://jssst2024.wordpress.com/program/ セルフホスト型ランタイムによる WebAssembly インストルメンテーションの実現可能性検討 中田 裕貴（さくらインターネット / はこだて未来大）, 松原 克弥（はこだて未来大）
ウェブエンジニアでもWasmを使いたい! アフタートーク
フロントエンドカンファレンス北海道 2024にて「ウェブエンジニアでもWasmを使いたい!」というタイトルで20分のトークを行いました． 当日のトークでは，WebAssemblyの特徴に触れつつ，特殊な用途[1]以外でWebAssemblyをどのように活用できそうか，実際にAssemblyScriptのコードを例に紹介しました． AssemblyScriptはTypeScriptをWebAssemblyにコンパイルできる言語として紹介しましたが，より正確にはTypeScriptと同じ構文を持つ言語をWebAssemblyにコンパイルする言語という方が正しいかもしれません． これはTypeScriptにはない構文などをAssemblyScriptでサポートしているという話ではなく，TypeScriptの型推論などの言語機能を活用してAssemblyScriptのコードを書くことができるように
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
最新のWasm事情
GitHub - wasmCloud/wadm: wasmCloud Application Deployment Manager (wadm) is a Wasm-native orchestrator for managing and scaling declarative wasmCloud applications.
