S3 上の大量データを EMR するときは S3DistCp を使うと捗る – I'm Sei.
CloudFront のアクセスログを S3 に出力するように設定していると、日に日に大量のログファイルが溜まっていきます。 中には 1 MB 程度のファイルもあれば、数百 bytes 程度の小さなものもあります。 何にせよ、とにかく大量にあります。 小さいファイルはまとめるCloudFront のログのように小さいファイルが大量にあるようなケースは Hadoop が苦手とするパターンで、そのまま扱うと大抵めちゃんこ時間がかかります。 そういう場合は、S3DistCp という便利ツールを使って S3 上のログファイルをもうすこし大きいサイズに連結して、HDFS にコピーするとパフォーマンスがあがることがあります。 ちなみに、EMR のベストプラクティスによると、Gzip で圧縮されている場合は 1 ~ 2GB、LZO で圧縮されている場合は 2 ~ 4GB が最適なファイルサイズらしいです
先日、能楽堂で能をみてきた。
結論からいうと、すげーよかったっす。 いままで30年くらい生きてきて、触れずに過ごしてきたことをちょろっと後悔した。 いや、後悔と言ってもぜんぜん遅くないというかむしろ早いほうだと思うんだけど。 なにしろ、客席の平均年齢が70歳くらい。（中には90歳くらいでは？という人も） 若い人は着物をお召しの人（習ってるっぽい）や外国人観光客が多かったね。 で、何がいいって、なんつーの。まず、フィジカル。 想像してた倍くらい動きがゆっくりで、想像してた倍くらい声がでかかった。 あれアスリートよ。オペラ歌手とかもすごいけど。また質が違う感じ。 あと鼓もすごい。音も信じられないくらい響くんだけど、すごいのが誰もタイミングを合わせようとしないの。 タイミングが合ってないのに誰もあわてない。 合ってないんだけど、合ってる。 何言ってるかわかんねーと思うけどそうとしかいいようがない。 ちょっと意味がわかんない。
牛門 (渋谷/ホルモン)
リクエスト予約希望条件をお店に申し込み、お店からの確定の連絡をもって、予約が成立します。 1 予約の申し込み ご希望の条件を当サイトよりご入力ください。 2 お店からのメール ご予約が承れるか、お店からの返信メールが届きます。 3 お店へ来店 予約が確定した場合、そのままお店へお越しください。
Sign in - Google Accounts
Not your computer? Use a private browsing window to sign in. Learn more about using Guest mode
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
