キー毎に値を集計する方法 - ひしだまの変更履歴

ひしだまＨＰの更新履歴。 主にＴＲＰＧリプレイの元ネタ集、プログラミング技術メモと自作ソフト、好きなゲームや音楽です。 irofさんとdaiksyさんがTwitter上でキーブレイク処理について話していました。 （リストを項目ごとに集計する→「ブレイク処理」を定形のアルゴリズムとして習いました→こんな解りにくいの、なんで好んで書くんだろう） キーブレイク処理というのは、データをキーでソートしておいて順番に読み込み、キーが同じ値の間に処理（よくあるのが集計）を続ける。キーが違う値になったら（キーがブレイクしたら）集計値を出力し、集計用変数をクリアしてまた処理を続ける。というアルゴリズムです。 ひとつ前のキーの値を保持しておく変数が必要で、最初はそれをどういう値にしておくか、また、ループを抜けた後に最後のキーの集計値を出力する必要があるか、といった辺りも考慮しないといけないので、慣れないと分か

[m0t0m0t0]

キーブレイク処理

[rryu]

キーの切り替わりの判定とループをラップするイテレータを作ればいいと思ったらそれがHdoopだったというオチ。

[shiumachi]

"キーブレイク処理をJavaで書こうと思ったら、Hadoopのソースを参考として見てみるといいかもしれませんね。というか、キー毎に集計するなら、Hadoopを使うといいんじゃないですかね"

[daiksy]

キーブレイクのアルゴリズムについて。