主としてLinuxをターゲットとして、サーバの状態を監視しないといけないことは多々ある。 アプリ開発部門なのにインフラのサイジングとか挙動とか見てる・・・DevOpsだ!(笑) まあそれはさておき、サーバの負荷状態を見る上ではCPUの利用状況を見るのは基本のキになる。 サーバの状況監視としては CPU使用状況 メモリ使用状況 ディスクIO状況 ネットワークトラフィック状況 あたりをまずは概観することとなる。 Windowsについてはタスクマネジャー最強、ということで今回のエントリーは対象外。 実際にはWindowsでもtasklistなどいくつか有用なCUIツールやロギング方法はあるのだが、まずはLinux系が対象である。 top 今回は上記のうちCPUについて着目するので、このコマンドについては次回と確認とする。 実際にはtopコマンドはCPUの状況だけではなく、メモリやプロセス動向など
$ sudo yum install sysstat ... ======================================================= Package Arch Version Repository Size ======================================================= Installing: sysstat x86_64 9.0.4-22.el6 base 230 k ... Installed: sysstat.x86_64 0:9.0.4-22.el6 Complete! $ mpstat -V sysstat バージョン 9.0.4 (C) Sebastien Godard (sysstat orange.fr)
sar -Aで取得したシステムの利用状況の中で、ディスクIOを示すものは下記の記述部分。 17:57:57 DEV tps rd_sec/s wr_sec/s avgrq-sz avgqu-sz await svctm %util 17:58:07 dev8-0 8.78 0.00 134.13 15.27 0.01 0.73 0.73 0.64 17:58:07 dev8-1 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 17:58:07 dev8-2 8.78 0.00 134.13 15.27 0.01 0.73 0.73 0.64 17:58:07 dev8-16 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0.00 17:58:07 dev8-17 0.00 0.00 0.00 0.00 0.00 0.00 0.00 0
Sparkを使った際にチューニングで考慮した点のメモです。 前提となる環境 Spark1.4 元データはJSON データ形式と圧縮コーデック データをParquet形式で扱う 元となるデータはJSON形式ですが、Parquetの方が効率的に扱えるためJSONをParquetに変換します。 必要なデータだけをParquetに保存する DataFrame#select()で必要なカラムだけを選択し、計算に不要なデータを取り除きます。 Parquetの圧縮形式にはsnappyを使用する デフォルトではParquetの圧縮形式はgzip形式ですが、snappyを選択することで高速な圧縮・伸長が行えます。 (追記:2.0ではsnappyがデフォルトになっています) コード例 sqlContext.setConf("spark.sql.parquet.compression.codec", "snap
基本的には以下のエントリーを自分なりに再試・咀嚼したものです。 HDFS and Hive storage - comparing file formats and compression methods - Adaltas Hiveテーブルを作成する際、SequenceFileはTextFileに比べてMapReduce時の処理効率は概ね良くなる傾向にありますが、様々なヘッダー情報が付与されるためファイルサイズ的には若干冗長になります。 僕もHiveを触り始めてまだ1ヶ月ちょっとなので色々調べている中、RCFileという、HDFS上でHiveテーブルのように構造化されたデータを扱うのに適したデータ構造がある、という事を知ったので、それぞれ以下3種のデータフォーマットについてデータサイズの比較を行いました。 TEXTFILE SEQUENCEFILE RCFILE ◯前提条件 今回試験に使
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く