分割可能なLZO圧縮をhadoopで使う
Twitterでは基本的にファイルはLZO圧縮しているようで， 3,4倍のストレージの節約 分割可能 CPUは少ししか使わない IOバウンドのジョブは3,4倍の性能向上 などのメリットがあると言っています．これは使わない手はないということで試してみました． clouderaのこのブログ記事を参考にして進めます． code.google.com/p/hadoop-gpl-compressionもありますが，Twitterが公開している分割可能なのを使います． http://github.com/kevinweil/hadoop-lzo 今回の環境はclouderaのamiをベースにしました． cloudera-ec2-hadoop-images/cloudera-hadoop-fedora-20090623-x86_64 ami-2359bf4 CDH3で，hadopoのバージョンは
NoSQL East 2009 - Summary of Day 2
An entry from 2009-10-30 in the Journal. Continuing from yesterday's talks here are my summary of the second and last day of NoSQL East. Pig--Kevin Weil--Twitter Data is getting big. NYSE produces 1TB of data every day, Facebook produces 20TB+ of compressed data each day, and CERN produces 40TB each day (15PB each year). This creates a need for multiple machines and horizontal scalability. Hadoop
TweetStream: Use the Twitter Streaming API from Ruby
Ruby Weekly is a weekly newsletter covering the latest Ruby and Rails news. A couple of weeks ago, popular micro-blogging service Twitter unveiled a beta "streaming API." Twitter's nature means they get hammered with polling requests so they've begun to experiment with the concept of streaming relevant data within a single HTTP request (in a Comet style). TweetStream (or GitHub repo) is a new Ruby
KandaNewsNetwork KNN
2017/04/16 4knn.tvでも記事化しているがNikon Df https://4knn.tv/nikon-df/ 2013年発売でありながらも値下がりしない価値。中古価格でも16万円を維持…。 ボディだけでもいいかと思っていたが、50mmのレンズの評判が良い。 HDMI経由であれば動画のキャプチャーも可能というのが嬉しい。 投資対象としてのカメラ認定かと…。 ということでマップカメラとフジヤカメラで、物色してみたいと思います。 オールドレンズを探す、古いカメラ屋さんでの喜びがよみがえってくるのかも…。
Twitter Gem Reborn with Fewer Features and 100% More OAuth // RailsTips by John Nunemaker
RailsTips One man, lazily posting some of the things he learns. subscribe » The Twitter gem is kind of my baby. It was pretty much the first gem I created and as such I care for it a little more. When I originally created it, I knew nothing. I sucked. Now over time, I suck less and Twitter’s addition of OAuth seemed like the perfect time to completely rewrite it. Yay for rewrites! The gem is now l
Emacs で Twitter するときに文字数を表示する（ rcirc 版） - http://rubikitch.com/に移転しました
Twitter は文字数制限があるので、リアルタイムに文字数をカウントしてみる。ちょっといぢれば他の IRC クライアントにも対応できるだろう。 TwitterIrcGateway や BitlBee を使えば IRC クライアントで Twitter できるぞ。 (defun twitter-count-chars--rcirc () (- (point) rcirc-prompt-end-marker)) (defvar twitter-count-chars-function 'twitter-count-chars--rcirc) (defun twitter-show-number-of-chars-in-headline () (setq header-line-format (list "" (format "%d chars" (funcall twitter-count-c
Rails Template: Create a Twitter Application in Seconds Mobomo
Our Services Think Big. For as long as we can remember, we’ve defied expectations and embraced the insurmountable, and we’re still just getting warmed up. So bring us the impossible, and let’s leave the simple to everyone else. You’ll find us out front polishing the corners of the bleeding edge. Learn more Large Scale Web & CMS Large Scale Web & CMS. As a Drupal partner with demonstrated success w
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
agilecatcloud.com
HisasAnn.com is for sale | HugeDomains
Topsy