増殖するLINE担当がじわじわくる - FutureInsight.info
以下のエントリーを読んでじわじわきたので紹介だけ。 http://news.nifty.com/cs/domestic/societydetail/cc-20120531-350/1.htm リクルートにはR25を担当したと主張する人が100人いたという話や、夏野さん以外にもi-Modeのプラットフォーム戦略を担当したと主張する人など、この手の話は大成功したプロジェクトにはつきものだが、LINE担当も増えているらしい。 以下のエンジニアの方は本当に担当してそうですが、kentaroさんがこのようなことを言っていたり、LINE担当というのは食いつきがいいっぽい。 リアルなLINE担当(だった)は友達で、こんなのを気にする人では全然ないのですが、このまま将来的に100人とかに増えていくと思うとちょっとじわじわきました。
Hiveのファイル圧縮とSTOREの種類とマージの関係
Hiveの設定項目に「hive.merge.size.per.task」という項目があります。 マージ処理が有効になっている（hive.merge.mapredfiles=true）上で、上述の項目で指定した所定のファイルサイズにHiveの計算結果ファイル（MapReduceの結果ファイル）のサイズが満たない場合、所定のサイズを超えるようにマージ処理が行われます。 用途としては、結果ファイルとしてあまりに細かいファイルが大量に作られHDFSのブロックが有効活用出来ない状況を回避するため、と認識しています。 （できるだけ１ファイルをHDFSのブロックサイズに一致するようなサイズにマージしたい。） もしくは解析時に大量のMapタスクを生成したくない、という目的もあると思います。 ただ、こちらのパラメータはケースによっては有効にならないようです。 ◯有効になるケース 計算結果ファイルを非圧縮にし
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
