The Principles of Java Application Performance Tuning | CUBRID blog
This is the fifth article in the series of "Become a Java GC Expert". In the first issue Understanding Java Garbage Collection we have learned about the processes for different GC algorithms, about how GC works, what Young and Old Generation is, what you should know about the 5 types of GC in the new JDK 7, and what the performance implications are for each of these GC types. In the second article
直積量子化(Product Quantization)を用いた近似最近傍探索についての簡単な解説
"aka motsu-nabe" by chatani 概要 冬の寒さも一段と厳しくなってまいりました。おでんや鍋が恋しくなる季節です。 さて、最近ようやっと一仕事が終わりまして、長ったらしい記事が書けるようになりました。ですので、今回は2011年にTPAMIで発表された、近似最近傍探索についての論文『Product quantization for nearest neighbor search』について簡単に紹介したいと思います。 この論文は2011年に発表された、最近傍探索アルゴリズムの決定打です。シンプルな理論でありながら既存手法を打ち破るほどの強力な性能を有し、速度も非常に高速、かつ省メモリなのでスマートフォンに載せ、リアルタイムで動作させることも可能です。 以前この手法はCV勉強会@関東で紹介されたらしいのですが、具体的に紹介しているページは(最近すぎるので当たり前ですが)現在
CDP:High Availability NATパターン - AWS-CloudDesignPattern
解決したい課題 システム構成をセキュアにするため、インターネットに公開する必要がないサーバーは、インターネットとの直接的な通信ができないネットワークセグメント（プライベートサブネット）に配置する構成にする場合が多い。 この場合、プライベートサブネットから外部へのアウトバウンド通信はNATサーバーやプロキシーサーバーを経由するが、このサーバーに障害が発生すると、プライベートサブネットのサーバーからアウトバウンド通信が行えなくなり、システム全体の障害につながる。このため、単一障害点（SPOF）にならないように、冗長化が必須である。 クラウドでの解決/パターンの説明 NATサーバー/プロキシーサーバーの冗長化を行う。障害発生時の迅速なフェイルオーバーと、より高い冗長性の確保のため、複数のデータセンターに複数のNATサーバー/プロキシーサーバーを配置し、単一障害点とならないようにする。 また、障害
SNA Projects Blog : Tech Talk: Michael Deerkoski (Flickr) — “Continuous Deployment at Flickr”
LinkedIn operates the world’s largest professional network with more than 645 million members in over 200 countries and territories. This team builds distributed systems that collect, manage and analyze this digital representation of the world's economy, while our AI experts, data scientists and researchers conduct applied research that fuel LinkedIn’s data-driven products and provide insights tha
Top 10 Customization of Eclipse Settings - DZone
the great thing with eclipse is that you can configure a lot. in general, i’m happy with most of the defaults in eclipse and codewarrior. here are my top 10 things i change in eclipse to make it even better: add -showlocation to the eclipse startup command line: show workspace location in the title bar disable the heuristik settings for the indexer : fixing the eclipse index disable build (if requ
Save up to 30% by Selecting Better Performing Amazon Instances - High Scalability -
If you like the idea of exploiting market inconsistencies to lower your costs then you will love this paper and video from the Hot Cloud '12 conference: Exploiting Hardware Heterogeneity within the Same Instance Type of Amazon EC2. The conclusion is interesting and is a source of good guidance: Amazon EC2 uses diversified hardware to host the same type of instance.The hardware diversity results in
LD_LIBRARY_PATH 覚書 | ﾌﾞｰログ
LD_LIBRARY_PATHはLinuxのダイナミックリンカーであるld-linux.soが共有ライブラリを探すためのパスを設定した環境変数。 プログラムが起動したとき、まずld-linux.soが読み込まれ、これが必要な共有ライブラリを探してリンクする。その後プログラムが実行される。 ld-linux.soはまず環境変数LD_LIBRARY_PATHから探す。ただし、 setuid/setgid去れているプログラムは除外される。 次に、/etc/ld.so.cacheから探す。これはバイナリファイル。速い。 最後に、/usr/lib, /libから探す。 /etc/ld.so.cacheは/sbin/ldconfigによってつくられる。ldconfigはライブラリのシンボリックリンクも作成する。ldconfigは/etc/ld.so.confファイルに記述してあるディレクトリに対して操
分位数・中央値
分位数・中央値 概要 昇順に整列された q 個の値に対して、その分布を m 等分する時、 1 * q/m , 2 * q/m, 3 * q/m, ..., i * q/m, ..., (m - 2) * q/m, (m - 1) * q/m 番目のそれぞれの値を分位数(quantile)と言う（分位点、分位値、クォンタイルとも言う）。 i 番目の分位点は「第 i m 分位数」と呼ぶ。m には4を用いることが多く、四分位数(quartile, hinge)は、第 i ヒンジとも言う。ほかに、 三分位数(tertile)、五分位値(quintile)、十分位数(decile)、百分位数／パーセント点／パーセンタイル(percentile)を用いることがある。第 i 百分位数は下側 i パーセント点と言い、第(100 － i)百分位数を上側 i パーセント点という。 特別な分位点 中央値:
Q-Digest | paper cruncher
Continuing on the same note as the Greenwald-Khanna post, we discuss another novel data structure for order statistics called Q-Digest. Compared to GK, Q-Digest is much simpler, easier to implement and extends to a distributed solution very easily. The data structure was designed with sensor networks in mind, where minimizing radio transmission overhead is of paramount importance. It originally a
The MMDS 2012 Slides are out! Workshop on Algorithms for Modern Massive Data Sets
In case you have to take your mind off tomorrow's suspense-filled and technologically challenging landing of Curiosity on Mars (see 7 minutes of Terror, a blockbuster taking place on Mars this Summer ) Michael Mahoney, Alex Shkolnik, Gunnar Carlsson, Petros Drineas, the organizers of Workshop on Algorithms for Modern Massive Data Sets (MMDS 2012), just made available the slides of the meeting. Oth
Streaming Data Mining Tutorial slides (and more)
Jelani Nelson.and Edo Liberty just released an important tutorial they gave at KDD 12 on the state of the art and practical algorithms used in mining streaming data, it is entitled: Streaming Data Mining I personally marvel at the development of these deep algorithms which, because of the large data streams constraints, get to redefine what it means to do seemingly simple functions such as count
Implementation of MVCC Transactions for Key-Value Stores
Highly Scalable BlogArticles on Big Data, NoSQL, and Highly Scalable Software Engineering ACID transactions are one of the most widely used software engineering techniques, a cornerstone of the relational databases, and an integral part of the enterprise middleware where transactions are often offered as the black-box primitives. Notwithstanding all these and many other cases, the old-fashion app
MassDAL Code Bank -- Sketches, Frequent Items, Changes
MassDAL Public Code Bank : Sketches, Frequent Items, Changes (Deltoids) This page is a library of routines in C and Java for data streaming and other massive data set analysis. Currently, these are derived from internal testing routines ("proof of concept" implementations), and so are distributed with no guarantees. In particular, there is relatively little error checking (parameters in range, mem
Approximate Scalable Bounded Space Sketch for Large Data NLP
1. Approximate Scalable Bounded Space Sketch for Large Data NLP Amit Goyal and Hal Daume III (EMNLP2011) 紹介者 : 松田 2011/10/13 1 2. Abstract • Count-Min sketch(以下CM)という sketch-based アル ゴリズムを単語ペアの計数に用いる • CMを用いることで、単語ペアそれ自体を保持する ことなく、共起頻度の近似値を(空間,時間ともに) 効率よく保持することができる • 共起頻度の近似値を以下の三つにタスクに適用 し、state-of-the-artな手法、及びExact Countと性能 を比較 – 単語の感情極性判別 – 分布アプローチに基づく単語の類似性判別 – 教師なし係り受け解析 • 49GBのテキストからの共起情報を8
超大規模テキストにおけるN-gram統計 - Negative/Positive Thinking
はじめに 超大規模なテキストデータでのN-gram統計を取る場合、そもそもデータがメモリにのらなくてSuffixArrayを使ったカウントも無理だったりする。近似値でよい場合、効率的な方法があると知ったのでちょっとメモ＆試してみた。 与えられるデータ 大量のデータがストリーム形式で与えられるとする 高速にどんどん与えられる 例えば、データパケット監視やtwitterなど カウントしたいデータの種類が膨大 種類をメモリに保持するのが無理 ストリームデータにおける頻度カウント法 正確なカウントは難しいが、近似的に頻度カウントを行うことができる Sticky Sampling Algorithmは解釈が間違っているかもしれない Sticky Sampling Algorithm カウントする要素をサンプリングで選ぶ方法 保持するのは以下の2つのペアの集合 e : 要素(例えばN-gram) f
誤り許容カウント法(lossy count method)のサンプルプログラム
誤り許容カウント法(lossy count method)のサンプルプログラム 2010-05-12-1 [Programming][Algorithm] 1行1ラベル形式で、 1万種類のラベルを持つ、 100万行のデータがあるとします （ラベルの頻度分布はジップの法則にだいたい準拠するとします）。 各ラベルの頻度をハッシュを使ってカウントするとなると、ハッシュエントリ1万個分のメモリ容量が必要になります。（1万じゃたいしたことないな、という人はもっと大きな数に置き換えて読んでください。） しかし、カウント後に高頻度のものしか使わないということも多いと思います。例えば頻度5000以上のもののみ取り出してあとはいらない、とか。 そうなると、全部のラベルのカウントデータを最後まで保持するのは無駄に思えます。 そこで登場するのが「誤り許容カウント法(lossy count method)」。 低
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
b-Bit Minwise Hashing
GitHub - azkaban/azkaban: Azkaban workflow manager.
GitHub - LinkedInAttic/kamikaze: DocId set compression and set operation library
403 Forbidden
expontentially decaying sample algorithm w/ redis
https://codahale.com/codeconf-2011-04-09-metrics-metrics-everywhere.pdf
Microsoft PowerPoint - lecture13 [Compatibility Mode]
CS584 - Stream Database
http://www.oki.com/jp/otr/2009/n215/pdf/215_r15.pdf