10億行のデータ処理に学ぶ、Rust/Go 低レイヤ最適化術（@yusuktan）【#も読】 - Findy Media

「あの人も読んでる」略して「も読」。さまざまな寄稿者が最近気になった情報や話題をシェアする企画です。他のテックな人たちがどんな情報を追っているのか、ちょっと覗いてみませんか？ みなさんこんにちは。 「あの人も読んでる」、第18回目の投稿です。maguro (X @yusuktan)がお届けします。 今回は、「One Billion Row Challenge（1BRC：10億行のデータ処理チャレンジ）」を取り上げます。 1BRCは、もともとはJavaコミュニティから始まったプログラミングチャレンジで、「10億行のテキストデータ（気象観測所の名前と温度がセミコロン区切りになっている）から、観測所ごとの最小値・最大値・平均値を計算する」という課題です。具体的には、以下のようなデータが入力として与えられます。 Hamburg;12.0 Bulawayo;8.9 Palembang;38.8 Ha

[mkusaka]

1BRCの10GB超をRust/Goで高速化、perf/pprof・mmap・SIMD・並列で90〜100秒→1.08秒解説

[nguyen-oi]

1BRCは変態の祭典。結局float捨てて整数演算するのが正義なのは低レイヤあるあるで面白い