H系のOSSは何年か触っているのですが、良く考えてみるとNodeの縮退を行ったことがありませんでした・・・ ※数十台程度の小規模な環境でしか運用したことが無いことと、故障もRAIDのHDD程度でマシンの大掛かりな故障という事象も無かったので ということで、縮退を行いました。...
Hadoop/HBaseのNodeのdecommission
H系のOSSは何年か触っているのですが、良く考えてみるとNodeの縮退を行ったことがありませんでした・・・ ※数十台程度の小規模な環境でしか運用したことが無いことと、故障もRAIDのHDD程度でマシンの大掛かりな故障という事象も無かったので ということで、縮退を行いました。...
Hiveのファイル圧縮とSTOREの種類とマージの関係
Hiveの設定項目に「hive.merge.size.per.task」という項目があります。 マージ処理が有効になっている（hive.merge.mapredfiles=true）上で、上述の項目で指定した所定のファイルサイズにHiveの計算結果ファイル（MapReduceの結果ファイル）のサイズが満たない場合、所定のサイズを超えるようにマージ処理が行われます。 用途としては、結果ファイルとしてあまりに細かいファイルが大量に作られHDFSのブロックが有効活用出来ない状況を回避するため、と認識しています。 （できるだけ１ファイルをHDFSのブロックサイズに一致するようなサイズにマージしたい。） もしくは解析時に大量のMapタスクを生成したくない、という目的もあると思います。 ただ、こちらのパラメータはケースによっては有効にならないようです。 ◯有効になるケース 計算結果ファイルを非圧縮にし
SpringMVC 3.x + Jackson でJSON出力時に'null'を空文字に変換
SpringMVC 3.x と Jackson の組み合わせでJSON出力するようなAPIは簡単に作れ、出力する値のフォーマットも @JsonSerialize アノテーションを用いる事でかなり自由にカスタマイズできるのですが、「'null' を 空文字で出力したい」といった場合...
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
