大きなテキストファイルをawkで処理するときにcatで投げ込むのと、ファイル読み込みするのどっちが速いか比較 - カメニッキ
追記が増えたので整理 経緯 2.5GBのテキストファイルを加工する必要があり、①vimで開いて加工→vim死亡②sublime textで開いて加工→sublime text死亡となったため、awkを用いて以下の様なコマンドを実行した。 $ cat sample.txt | awk '$5 ~ /((26|27|28|29|30)\/Jun|(01|02|03)\/Jul)/{ print }' > result.txt すると 「catいらなくね？」と指摘 さらにMATSUMOTO, Ryosuke (@matsumotory) | Twitter ＜ 「キャッシュに入れて高速化してるんかと思った」 とコメントをもらいました。ので、どっちが速いかの検証です。 注意 加工の目的はログファイルからある期間だけの行を抜き取りたい 正規表現がいけてないのは気にしない 比較 awkにファイル指定す
大徳日記 » ps+grepのTipsに感動した
ひさびさに目から鱗（うろこ）が落ちました。たまたま見つけた次のサイト。 clmemo@aka: ps + grep の Tips よくサーバーが起動しているかどうか確認するときにpsコマンドで見るじゃないですか。たとえばapacheのプロセスが起動しているかを見るときは $ ps alx | grep apache 5 33 11347 11020 15 0 158848 2056 341702 S ? 0:00 /usr/sbin/apache2 -k start 5 33 11352 11020 16 0 183436 2132 341162 S ? 0:00 /usr/sbin/apache2 -k start 0 1000 12296 17847 18 0 4956 792 – R+ pts/4 0:00 grep apache などとするのですが、こうすると運が悪いとgrepのプ
Linuxのサーバをリモートから強制的にOSリブートする - 元RX-7乗りの適当な日々
先日、諸々の都合で遠隔にあるテスト環境のサーバ(Linux)のカーネルパラメータを弄っていたのですが、ちょっと設定(メモリまわり)がイキすぎてしまいｗ、コマンド実行というかforkできなくなってしまった(Cannot allocate memory...)。 んで、shutdownコマンドも実行できなくなったので、直そうと思ったのですが、色々弄った＆時間がなかったこともあり、一旦OSを再起動しちゃいたいな、と(汗 が、遠隔にあるサーバなので、物理的な電源スイッチON/OFFができない(厳密には出来る環境ではあったのですが、このサーバはそこに入ってなかったｗ)。ので、SysRqキーを送ることにした。 やり方 少し無理矢理感はありますが、 # echo b > /proc/sysrq-triggerを実行すると、強制的にリブートがかかります。 ただし、ファイルシステムのsyncとかumount
Linuxでシステムに対して意図的に高負荷をかけたい場合 - 元RX-7乗りの適当な日々
今更感があるかもしれませんが紹介。 stressコマンドを使うと、CPUやメモリ、ディスクに対して意図的に負荷を与えることができます。 どこで使うかというと、、、高負荷時のシステムの挙動を見たい場合、AutoScaling等の負荷状況に応じて自動でスケールアップ/アウトさせるための仕組みのテストをしたい場合、部屋が寒いときにPCに発熱させたい場合ｗｗｗなどで使えるのかな、と。 Stressをインストール CentOSやRedHatの場合は、DAG(rpmforge)のリポジトリがあるので、ここのパッケージからインストールしましょう。 DAGをyumのリポジトリに追加する場合は、以下リンクから(CentOS5[x86_64]系の2010/05/14時点の最新版は)"rpmforge-release-0.3.6-1.el5.rf.x86_64.rpm"をダウンロードして、rpmインストールしま
historyコマンドで日付を付ける方法 | 黒ぶちメガネのblog
ddﾊ_ﾊ (‘(ﾟ∀ﾟ∩ < “history” コマンドで日付を付けるよ！付けるよ！ ddヽ 〈 dddヽヽ_) bash3.0以上から使える方法です。 HISTTIMEFORMATという環境変数を使えば簡単に日付表示が出来ちゃいます。 [hoge@hoge ~]$ history ・ ・ ・ 130 2009-12-06 23:36:16vi nodes 131 2009-12-06 23:36:27qmgr 132 2009-12-06 23:36:57/etc/rc.d/init.d/pbs restart 133 2009-12-06 23:37:58ls 134 2009-12-06 23:38:00top 135 2009-12-06 23:40:24qmgr 136 2009-12-06 23:41:52vi nodes 137 2009-12-06 2
Linuxでうっかりrm -rfしちゃったけど復活出来たよー＼(＾o＾)／ - y-kawazの日記
サーバのファイル整理作業をしていたところ…、 間違えてrm -rfしてしまった！ ぎゃーバックアップもねー！ 長いこと生きてたらこんな経験の1度や2度はありますよね？ えぇ、ついさっきやらかしちゃいましたｗｗオワタｗｗｗ 速攻「rm 復活」とか「rm 取り消し」とかでググッたねｗ、したらmcってプログラムのUndelete機能使えばよいって情報が出てくるが、どうやらこれext2じゃないと使えないっぽいぞ…、うちext4だ。 混乱。以下ターミナルのヒストリーより実況。 ## こーいうときはまずあれだ、現場保存！ ## まずは今いるパーティションを確認 # df -hT Filesystem Type サイズ 使用 残り 使用% マウント位置 /dev/sdb2 ext4 193G 6.9G 176G 4% / /dev/sdb1 ext3 194M 22M 163M 12% /boot /d
psコマンドでスレッドを表示させたり、スレッドごとのCPU使用率を確認する - 元RX-7乗りの適当な日々
今更なネタかもしれませんが、psコマンドでは通常プロセス単位での表示となりますが、"man ps"を読んでみたところ、"-L"等のオプションをつけることで、スレッドを表示することもできるようです。 スレッド表示 H スレッドをプロセスのように表示する。 -L 可能ならば LWP と NLWP カラムをつけてスレッドを表示する。 -T 可能ならば SPID カラムをつけてスレッドを表示する。 m プロセスの後にスレッドを表示する。 -m プロセスの後にスレッドを表示する。 Man page of PS では、早速試してみましょうか。 普通に"ps -ef"を実行 $ ps -ef | grep -e mysqld -e PID | grep -v grep UID PID PPID C STIME TTY TIME CMD root 4570 1 0 Dec09 ? 00
iptstate | Carpe Diem
iptstate というコマンドがあることを始めて知りました。 iptstate は、netfilter の接続をトラックキングしているテーブルの情報を top のように表示してくれるコマンドです。 CentOS の場合は、すでに iptstate バージョン 1.4.1 が提供されていて、普通にインストールすると iptstate パッケージがインストールされています。 さっそく、試してみます。iptstate は、netfilter つまり iptables の接続トラックキングテーブルの情報を表示してくれるので、iptables が動作している必要があります。 $ sudo /usr/sbin/iptstate IPTables – State Top Version: 1.4 Sort: SrcIP s to change sorting So
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
初心者の頃に知っておきたかった rpm と yum の違いと使い分け
x.com
はてなブログ | 無料ブログを作成しよう