xargs を使ってカジュアルに並列処理 - たごもりすメモ
シェルからでも重い処理というのはちょこちょこあって、例えば超デカいログファイルを移動して圧縮したりというお仕事は世界中のあらゆる場所で毎日行われていたりする。コマンドラインからでも大量の圧縮済みログファイルをいっぺんに展開したい、とか。 あるディレクトリ以下に存在するたくさんのファイルを(圧縮済みのものを除いて)全部 bzip2 圧縮したい！と思ったら、とりあえずさくっと次のようにコマンドラインで叩けばいい。 $ find . -not -name '*.bz2' | xargs bzip2 これで、まあそんなに問題なく効率的にbzip2圧縮ができる。だがしかし。 最近は複数コアのCPUが普通に転がってるし、あまつさえHyperThreadingが有効になってたりしてOSから見える論理CPU数がハンパない。普通に8とかある。その一方で複数コアを使用してくれるコマンドというのはあんまりなくて
Linuxでうっかりrm -rfしちゃったけど復活出来たよー＼(＾o＾)／ - y-kawazの日記
サーバのファイル整理作業をしていたところ…、 間違えてrm -rfしてしまった！ ぎゃーバックアップもねー！ 長いこと生きてたらこんな経験の1度や2度はありますよね？ えぇ、ついさっきやらかしちゃいましたｗｗオワタｗｗｗ 速攻「rm 復活」とか「rm 取り消し」とかでググッたねｗ、したらmcってプログラムのUndelete機能使えばよいって情報が出てくるが、どうやらこれext2じゃないと使えないっぽいぞ…、うちext4だ。 混乱。以下ターミナルのヒストリーより実況。 ## こーいうときはまずあれだ、現場保存！ ## まずは今いるパーティションを確認 # df -hT Filesystem Type サイズ 使用 残り 使用% マウント位置 /dev/sdb2 ext4 193G 6.9G 176G 4% / /dev/sdb1 ext3 194M 22M 163M 12% /boot /d
簡単操作でセキュアなバックアップユーティリティー「Time Drive」 | ライフハッカー・ジャパン
以前、Linuxのバックアップユーティリティーアプリ「Back in Time」を紹介したので、WindowsやMacでも使える同様のバックアップアプリは無いものかと探していました。ところが、暗号化ができなかったり、ネットワーク環境が必要だったりと、なかなか良いものが無かったのです。 最近やっと、Rob Oakesさんが開発したパイロンベースのバックアップユーティリティー「Time Drive」を見つけました。Time Driveは、Windows／Mac／Linuxすべてに対応しており、ローカルマシンもしくはローカルネットワークを使ったアプリで、しかも無料ダウンロードです。 このTime Driveも、Back in Timeを始めとする多くのバックアップアプリと同じく、使い方は簡単です。 バックアップ用のフォルダを作る ↓ バックアップボタンを押してバックアップを実行 たったこれだけの
テキストファイル内の特定文字列を一括置換させたい～Perl編～
ファイル内の特定の文字列を置換させたい場合には、sedを使用するのが容易だ。「テキストファイル内の特定文字列を一括置換させたい」Tipsでも紹介をしている。 次の例では、input.txtを読み込み、シングルクォートを削除してからoutput.txtに書き出すという指定になる。
障害の兆候を見逃さないためのサーバ監視
監視するデータ 集客力のあるサイトを運営しているWebサーバやメーリングリストを運営しているサーバ、ソフトウェアを配布するFTPサーバ、ファイル共有をするためのサーバなどは、クライアントからの非常に多くの要求を処理する必要があります。 サーバの応答が遅い場合は、ハードウェアの増強などで対応する必要があります。ボトルネックの特定のためには、原因がCPUのパワー不足なのか、メモリ容量が足りていないのか、回線容量が細過ぎるのかなどを判断しなければなりません。そのほかにもハードディスク容量、マザーボードの温度、UPSの電力、メールの配送効率、Webページのアクセス解析など、運用中に注意して見ておく必要のあるデータは多くあります。 ここでは、システムを運用するうえで、監視項目として挙げられる主要なデータおよびその確認方法を紹介します。 プロセス プロセス関連の監視項目には、以下のようなものが挙げられ
linuxデスクトップ環境をたったの3ステップで高速化する方法 - ぴょぴょぴょ？ - Linuxとかプログラミングの覚え書き -
各所で話題になっていますが、Linuxを劇的に高速化する方法が発見されました*1 *2 *3。特にブラウザなど複数のアプリケーションを同時に起動した状態では、体感速度がびっくりするほど向上します。 高速化する方法も簡単です。カーネルの再構築という難しい作業は不要で、設定ファイルを数行書き換えるだけです。是非試しましょう！ ステップ-1: ~/.bashrc の編集 ~/.bashrc の末尾に以下の4行を追加します。 if [ "$PS1" ] ; then mkdir -m 0700 /sys/fs/cgroup/cpu/user/$$ echo $$ > /sys/fs/cgroup/cpu/user/$$/tasks fi ステップ-2: /etc/rc.local の編集 /etc/rc.local の末尾に以下の2行を追加します(2010/11/24更新。不要なmkdirコマンド
Manpage of SIGACTION
Section: Linux Programmer's Manual (2) Updated: 2008-08-29 Index JM Home Page roff page 名前 sigaction - シグナルの動作の確認と変更 書式 #include <signal.h> int sigaction(int signum, const struct sigaction *act, struct sigaction *oldact); glibc 向けの機能検査マクロの要件 (feature_test_macros(7) 参照): sigaction(): _POSIX_C_SOURCE >= 1 || _XOPEN_SOURCE || _POSIX_SOURCE 説明 sigaction() システムコールは、特定のシグナルを受信した際の プロセスの動作を変更するのに使用される。 s
複数ファイルのファイル名を一括変換する
説明 rename コマンドは、file...に指定したファイル名の from に最初にマッチする部分を to に置き換えてくれます。 例）ファイル名「 hoge_01.txt 」を「 HOGE_01.txt 」へ変更する。 [hoge@localhost ~]$ ls hoge_01.txt [hoge@localhost ~]$ rename hoge HOGE hoge_01.txt ← rename コマンド [hoge@localhost ~]$ ls HOGE_01.txt ←ファイル名が変更された 例）複数ファイルを指定する場合。 [hoge@localhost ~]$ ls -1 hoge_01.txt hoge_02.txt ↓ スペース区切りでファイルを続けて書く [hoge@localhost ~]$ rename hoge HOGE hoge_01.txt hoge
Linuxファイルシステムまとめ | エンタープライズ | マイコミジャーナル
Make Tech Easier - Uncomplicating the complicated, making life easier 代表的なファイルシステムに絞っても、Linuxにはいくつか選択候補になるファイルシステムがある。ディストリビューションの指針や評価ごとに違うファイルシステムが採用されたり、バージョンがあがるごとにデフォルトのファイルシステムも入れ替わる傾向がある。インストール時に選択できることが多い。 どのファイルシステムを選択するかは用途ごとに適切なものを選べばいいことになるわけだが、それぞれを比較するのは少々大変だ。そうした場合に役に立つ情報がChoosing The Best Linux Filesystem For Your PC - Make Tech Easierにおいて公開された。代表的なLinuxファイルシステム(Ext2、Ext3、Ext4、Reis
Unix errno一覧
他サイトで見つけたのですが，現在とちょっと違っているようなので自分で調べてまとめてみました． とりあえずmanページと，返ってきたエラーコードのみの少ない情報ですが(^^;) (Fedora9 Kernel:2.6.25) 1 EPERM Operation not permitted (POSIX.1) 2 ENOENT No such file or directory (POSIX.1) 3 ESRCH No such process (POSIX.1) 4 EINTR Interrupted function call (POSIX.1) 5 EIO Input/output error (POSIX.1) 6 ENXIO No such device or address (POSIX.1) 7 E2BIG Argument list too long (POSIX.1) 8 E
UNIXの部屋 検索-リダイレクト
最終更新 2019-01-27 UNIX/Linux のシェル sh・bash・csh・tcsh のリダイレクトを説明する。ファイルへの出力、コマンド出力を別のコマンドの入力とする、標準入力・標準出力・標準エラー出力、パイプなどもあわせて説明する。
第1回：Linuxセキュリティ機能の罠
ある日，プロジェクトでチームリーダーを務めている高野氏は不測の事態に遭遇し，一人ひそかに青くなっていた… このプロジェクトは，あるユーザー企業で大規模Webアプリケーションの開発に取り組んできた。開発言語は「Ruby」，フレームワークとして「Ruby on Rails」（RoR），データベースには「MySQL」を採用。これをRed Hat系Linuxである「CentOS」上に配備して動作させる想定だ。 既に開発フェーズに入り，メンバー各自が社用PCにJavaの開発環境である「NetBeans」などをインストールし，開発作業を進めていた。OSは基本的にWindows XPで統一されている。しかしながら，開発環境はNetBeansだけでなく「Eclipse」や単なるエディタを使ったものなど，バラエティに富んでいる。 プロジェクトのキックオフから7カ月たった時点まで，プロジェクトの常としてある程
Bashシェルスクリプト/特殊な変数展開 - PukiWiki Plus!
Bashで追加された拡張的な変数展開 † 変数の値を切り出す(${variable:offset}、${variable:offset:length}) † ${variable:offset:length}は、変数variableに代入されている値に対して、offset番目からlength分の文字列を切り出します。 最初の文字列が０番目です。lengthを省略すると最後までとして解釈します。 ■例1:変数VARの値の２番目から６個を切り出す。 $ VAR=0123456789 $ echo ${VAR:2:6} 234567 ■例2:offsetやlength部分には算術式を指定できます。 (5-2)番目から(1+3)個分切り出す。 $ VAR=0123456789 $ echo ${VAR:(5-2):(1+3)} 3456 合致する変数名を全て表示する。(${!prefix*})
Logical Volume Manager HOWTO
bert hubert <ahu@ds9a.nl> Richard Allen <ra@ra.is>Version 0.0.2 $Date: 2004/02/15 01:35:17 $ 高橋 聡 hisai@din.or.jp 22 Oct 2000 とても実践的な Linux LVM HOWTO 1. はじめに 1.1 おことわりと著作権 1.2 前提となる知識 1.3 ドキュメントの改訂について 1.4 CVS アップデートは CVS へアクセス 1.5 このドキュメントの構成 2. LVM とは？ 3. 基本的な原則 3.1 実例を見ながらの解説 3.2 アクティブとインアクティブ - カーネル空間とユーザ空間 4. 必要な条件 4.1 カーネル 4.2 ユーザ空間 5. ファイルシステムを拡張する 5.1 e2fsadm を使って 5.2 論理ボリュームを拡張する 5.3 ボリ
ユメのチカラ: 取締役退任。生涯一プログラマ宣言。
6月30日臨時株主総会において、ミラクル・リナックス株式会社の新取締役として、児玉崇、伊東達雄を選任し、それに続く、取締役会議により、新しい代表取締役として児玉崇を選任した。佐藤武前代表取締役社長は、取締役会長へ、わたしは取締役を退任した。 ここにご報告する。 さて、ここからが本題(？)である。取締役を退任したからといってミラクル・リナックスを辞めるわけではない。今後は経営者という責任ある立場を退き一技術者としてミラクル・リナックスに貢献していく。 2000年6月にミラクル・リナックスを創業以来8年にわたって取締役CTOとしてミラクル・リナックスとともに歩んできたが、取締役というよりも、技術屋としてミラクル・リナックスのV1.0の開発、OSDL (Open Source Development Lab -- The Linux FOundationの前身)への参画、そしてAsianuxプロ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
x.com
IBM Developer
知っておくと役立つかもしれないLinuxコマンド(サーバ確認関係）
IBM Developer
怠惰な Linux: 管理者に必須の 10 の秘訣