gom68のブックマーク - はてなブックマーク

列指向データベースのページのデータ構造 - ablog

行指向データベースは行単位でページ(Oracle Database でいうデータブロック)にデータを格納しているのに対して、列指向データベースは列ごとにページに格納している。クエリ実行時に結果セットを返す際に列別にバラバラのページに格納されているデータをどうやってタプル(レコード)に復元している*1のかと思ったがやはり行IDのようなものを持っているようだ。行ID は C-Store では pid、Monet DB では BAT(Binary Association Tables) の oid と呼ばれている。 The Design and Implementation of Modern Column-Oriented Database Systems NSM(N-ary Storage Model): 行方向でブロック（ページ）にデータを格納する方式 DSM(Decomposition

gom68 2018/03/11

リンク

プロセスのランキュー待ち時間とI/O待ち時間を調べる - ablog

cat file|awk では実行時間 < CPU時間となっていますが、cat が I/O wait していないとは限りません。実行時間は単純に終了時間 - 開始時間で算出しますが、CPU時間はプロセスのCPU時間を getrusage システムコールで取得します。catのプロセスと awk のプロセスが並列実行されている期間があるため、実行時間 < CPU時間となっています。例えば、CPUバウンドな2プロセスがほぼ完全に並列実行されると、実行時間 * 2 ≒ CPU時間となったりします。（中略）大きなテキストファイルをawkで処理するときにcatで投げ込むと速い理由 - ablog と書きましたが、プロセスのランキュー待ち時間は /proc//sched の2列目(sched_info.run_delay) I/O待ち時間は /proc//schedstat の se.stati

gom68 2015/08/10

linux

リンク

大きなテキストファイルをawkで処理するときにcatで投げ込むと速い理由 - ablog

以下、長々と書いてますが、結論は ”私の環境で”大きなテキストファイルをawkで処理するときにcatで投げ込むと速い理由 - ablogに書いてますはじめに awk file より cat file|awk のほうが速いという以下のブログエントリが興味深いので調べてみました。ちなみに cat file|awk が速くなる環境は稀で、巷では awk file のほうが速い環境のほうが多いようで、どちらが速いかは環境依存です。 [root@localhost sample]# cat command1 awk '$5 ~ /((26|27|28|29|30)\/Jun|(01|02|03)\/Jul)/{ print }' sample.txt > result1.txt （中略） [root@localhost sample]# time sh command1 real 0m53.92

gom68 2015/07/29

リンク

perf + Flame Graphs で Linux カーネル内のボトルネックを特定する - ablog

Linuxでddで1GBのファイルを作成し perf でプロファイリングし、Flame Graph (炎のグラフ？)にして可視化したものです。 Flame Graphs は perf(Linux)、SystemTap(Linux)、DTrace(Solaris、Oracle Linux(UEK)、Mac OS X、FreeBSD)、XPerf.exe(Windows) などでのプロファイリング結果を可視化して最も使われているコードパスを早く正確に特定することができます。実体はプロファイリング結果をグラフ(SVG)に変換する Perl スクリプトです。下から上に行くほどコールスタックが深く、左から関数名のアルファベット順でソートされています。一番上で横幅が広い関数がCPUを長く使っています。今回は "_aesni_enc1" つまり暗号化がボトルネックになっていることがわかります。システ

gom68 2015/07/13

リンク

LinuxでCPU使用率を上げるコマンド - ablog

いいものを見つけたのでコピペ。 yes >> /dev/null & 最後に & お勧めｗ（二つターミナルが必要でなくなる。）ちなみにメモリ負荷をあげる魔法のコマンド /dev/null < $(yes) & LinuxでCPU負荷を上げる魔法のコマンド - Qiita ">>" は ">" でも良いと思うが、何か特別な理由があって">>"にしているのだろうか。追記(2014/10/08): ただのメモにはてブがたくさん（当社比）ついてビックリ(^-^; コア数に対する考慮が足りない。コア数に対する考慮が足りない。 - gomakyuのコメント / はてなブックマークとコメントを頂いた通り、上記のコマンドを実行しても1つの論理CPUを使い切るだけです。例えば上の図の通り、1ソケット * 4コア * 2スレッドで論理CPU数が8の場合は、ざっくり、1多重で実行すると12.5%