StreamInsight - イベント ストリームを使いこなす: 高速概算集計
図 4 ヒストグラム (図 3) の図解 最初のイベントでは動きがありません。5 個目のイベントで同じカウント 1 を含むバケット数が k⁄2 + 2 個になるため、最も古いバケットのマージが行われます。7 個目のイベントでも再びマージが行われます。9 個目のイベントでもマージが行われますが、このマージによって新たなマージが連鎖的に引き起こされます。7 個目のイベントの後、最初のイベントの期限が切れます。12 個目のイベントまでは、タイムスタンプが期限切れになるバケットはありません。13 個目のイベントで、タイムスタンプ 6 のバケットは、期限が切れていないイベントを最低でも 1 つ含むという条件が成立しなくなるため、バケット自体が期限切れになります。この表の相対誤差は、相対誤差の上限より小さいことは明らかです。 図 4 の点線で囲んだ範囲はその時点のウィンドウ サイズです。ウィンドウは複
GitHub - stephenc/high-scale-lib: A Mavenized fork of http://high-scale-lib.sourceforge.net/
IF YOU ARE LOOKING for the drop-in replacement for java.util.Hashtable, it's in the lib directory, lib/java_util_hashtable.jar. It needs to be in your bootclasspath. Example: java -Xbootclasspath/p:lib/java_util_hashtable.jar my_java_app_goes_here --- A collection of Concurrent and Highly Scalable Utilities. These are intended as direct replacements for the java.util.* or java.util.concurrent.* co
Implementing Real-Time Trending Topics with a Distributed Rolling Count Algorithm in Storm
A common pattern in real-time data workflows is performing rolling counts of incoming data points, also known as sliding window analysis. A typical use case for rolling counts is identifying trending topics in a user community – such as on Twitter – where a topic is considered trending when it has been among the top N topics in a given window of time. In this article I will describe how to impleme
MassDAL Code Bank -- Sketches, Frequent Items, Changes
MassDAL Public Code Bank : Sketches, Frequent Items, Changes (Deltoids) This page is a library of routines in C and Java for data streaming and other massive data set analysis. Currently, these are derived from internal testing routines ("proof of concept" implementations), and so are distributed with no guarantees. In particular, there is relatively little error checking (parameters in range, mem
超大規模テキストにおけるN-gram統計 - Negative/Positive Thinking
はじめに 超大規模なテキストデータでのN-gram統計を取る場合、そもそもデータがメモリにのらなくてSuffixArrayを使ったカウントも無理だったりする。近似値でよい場合、効率的な方法があると知ったのでちょっとメモ＆試してみた。 与えられるデータ 大量のデータがストリーム形式で与えられるとする 高速にどんどん与えられる 例えば、データパケット監視やtwitterなど カウントしたいデータの種類が膨大 種類をメモリに保持するのが無理 ストリームデータにおける頻度カウント法 正確なカウントは難しいが、近似的に頻度カウントを行うことができる Sticky Sampling Algorithmは解釈が間違っているかもしれない Sticky Sampling Algorithm カウントする要素をサンプリングで選ぶ方法 保持するのは以下の2つのペアの集合 e : 要素(例えばN-gram) f
誤り許容カウント法(lossy count method)のサンプルプログラム
誤り許容カウント法(lossy count method)のサンプルプログラム 2010-05-12-1 [Programming][Algorithm] 1行1ラベル形式で、 1万種類のラベルを持つ、 100万行のデータがあるとします （ラベルの頻度分布はジップの法則にだいたい準拠するとします）。 各ラベルの頻度をハッシュを使ってカウントするとなると、ハッシュエントリ1万個分のメモリ容量が必要になります。（1万じゃたいしたことないな、という人はもっと大きな数に置き換えて読んでください。） しかし、カウント後に高頻度のものしか使わないということも多いと思います。例えば頻度5000以上のもののみ取り出してあとはいらない、とか。 そうなると、全部のラベルのカウントデータを最後まで保持するのは無駄に思えます。 そこで登場するのが「誤り許容カウント法(lossy count method)」。 低
Benchmarking CRC32 and PopCnt instructions - strchr.com
Abstract: Exploring new instructions in Core i7/i5. Created 14 years ago by Peter Kankowski Last changed 14 years ago Contributors: Dmitry Kostjuchenko, Marat Dukhan, and Subbu N Filed under Low-level code optimization Recent Intel processors (Core i7/i5) can calculate CRC-32C and bit count in hardware. With other domain-specific instructions (string handling, AES encryption) in SSE 4.2, it may se
Count-Min Sketch のライブラリを公開しました
2012-02-17 Count-Min Sketch のライブラリを公開しました written by Susumu Yata. はじめに 先日 groonga プロジェクトでの利用を目的として開発しているライブラリ Madoka を公開しました．Madoka は Count-Min Sketch という手法をライブラリ化したものであり，文書集合に含まれるキーワードの頻度を求める，クエリの頻度を求める，などの用途に使うことができます． s-yata/madoka - GitHub Documentation - Madoka ライブラリの使い方についてはドキュメントに書いてあるので，こちらは Count-Min Sketch と Madoka の特徴をまとめた内容になっています． Count-Min Sketch 頻度を求めることが目的であれば，ハッシュ表による連想配列を使うのが，おそら
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
このページを見るには、ログインまたは登録してください
Tokyo HBase Meetup - Realtime Big Data at Facebook with Hadoop and HBase (ja)
Approximate Scalable Bounded Space Sketch for Large Data NLP
http://www.oki.com/jp/otr/2009/n215/pdf/215_r15.pdf
自然言語処理はじめました - Ngramを数え上げまくる
Count-Min Sketch
Kafkaによるリアルタイム処理
Count-Min Sketch –
Getting a count of returns seen by a RESTful request
https://dl.acm.org/doi/10.5555/1287369.1287400