Pig on Hadoop - kuangueの日記
Pigってのは，googleで言うところのsawzallに対応するようです．が，ちょっと見たところでは，Sawzallどころではなくて，もっと意欲的です．Sawzallは，MapReduce処理モデルに思い切り引っ張られているけど，Pigは，リレーショナル演算をHadoop::MapReduce上の処理に変換しようという割と壮大な試み．Hadoopは利用しているけども，完全に別プロジェクトでやっています．yahooで作られていたものをオープンソースにしましたということですね． たとえば，下のように書くことができるような言語になっています． VISITS = load '/visits' as (user, url, time); USER_VISITS = group VISITS by user; USER_COUNTS = foreach USER_VISITS generate gr
Twitterのクジラ解剖学、あるいは彼らがいかにサーバの処理能力を向上させたか
Twitterを利用していると、ときどきクジラの絵の画面が表示されることがあります。これはTwitterの処理能力がパンクして一時的に利用不可になったときに表示されるお馴染みの画面。 2月9日にTwitter Engineeringブログにポストされたエントリ「The Anatomy of a Whale」（クジラの解剖学）では、Twitterのエンジニアたちがこのクジラの内部に分け入ってどのようにTwitterサーバの処理能力を向上させたのか、という話が詳しく語られています。 彼らが行ったのは、まず詳細なデータを取得して原因がどの辺にあるのかを推測すること。そこから多数の無駄な処理を発見し、ソースコードの修正による性能の向上に成功します。 元記事は非常に長いエントリになっていますが、問題の調査から解決に至るアプローチについて多くのエンジニアの方の参考になりそうな内容が含まれていますし、T
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
