[db tech showcase Tokyo 2014] B26: PostgreSQLを拡張してみよう by SRA OSS, Inc. 日本支社 高塚遥Insight Technology, Inc.
![使い捨て python コードの書き方](https://cdn-ak-scissors.b.st-hatena.com/image/square/d8b0641743c8e742ca72fad0948727f87325911c/height=288;version=1;width=512/https%3A%2F%2Fcdn.slidesharecdn.com%2Fss_thumbnails%2Fpyfeslt201208pythoncode-120825013844-phpapp01-thumbnail.jpg%3Fwidth%3D640%26height%3D640%26fit%3Dbounds)
新たにDataNodeを増設した際など、DataNode間のデータサイズの偏りが生じることがあります。 それを解消する機能としてbalancerがあります。 #balancer起動 start-balancer.sh #balancer停止 stop-balancer.sh ただプロダクション環境などでいきなり動作させるとネットワーク帯域を使いきってしまいHadoop Jobの実行等々に支障を与える事があります。 hdfs-site.xmlに「dfs.balance.bandwidthPerSec」を設定すると、転送帯域を抑制することが出来ます。こちらでネットワーク帯域を逼迫させない程度に値を設定してbalancerを起動させると、プロダクション環境でも比較的安心してbalancing処理が行えますね。 <property> <name>dfs.balance.bandwidthPerSe
「PigとHive何が違うの?」 「Difference between Pig and Hive? Why have both?(PigとHive何が違うの?)」 という質問を、先日、StackOverFlowで見かけました。恐らくHadoopを触ると一度は疑問に思う事ではではないでしょうか。 PigとHiveは、共にSQLライクな記法でMapReduceを書けるDSLですが、利用者数においてはHiveに軍配が上がっているようにみえます。 一方で、「Pigをもっと早く試せば良かった」というお話を伺うこともあり、有用(かもしれない)ツールであれば、正しく理解しておいた方がよさそうです。 というわけで、ここではPigの活用を探ります。 Pigの性能 Pigが今一つ利用されていないのは、SQLとの親和性に加え、性能面で、「JavaMapReduce>Hive>Pig」という傾向があるからで
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く