xargsコマンドを使って指定したコマンドを並列実行させる - 技術メモ帳
あまり知られていないが、GNUのxargsコマンドには、 プロセスの最大数を設定できるオプションというのが用意されている。 コレを使って、プロセスを並列実行させてみよう。 xargs --max-procs=MAX-PROCS -P MAX-PROCS command MAX-PROCSに数字を指定すると、 最大で、その数だけ command プロセスを生成する。 デフォルトは、1プロセスだけになっている。 いくつか例を交えて説明する。 サンプルとして、以下のようにURLが行ごとに記述されたファイルを元に curlをxargsで並列実行して、HTMLデータを取得してみよう。 $ cat ./url_list.txt http://www.google.co.jp/ http://www.yahoo.co.jp/ http://b.hatena.ne.jp/ まず、普通にxargsを使ってc
ディレクトリの中にある大量の小さなファイルを高速に読み込む方法 - 射撃しつつ前転 改
ディレクトリの中にある大量のファイルを高速に読み込む方法が知りたかったので、実験してみた。想定しているシチュエーションは、一つ一つのファイルは数KB程度だが数が多い、という場合である。適当な順番でアクセスすると、ランダムアクセスになってしまいとても時間がかかる。個々のファイルを読み込む順番はどうでも良く、すべてのファイルを処理することさえできればいいので、原理的にはシーケンシャルアクセスで処理できてしかるべきである。 まず、ファイルシステムについて。HDDやSSDなどのハードウェアにアクセスする際には、ファイル名などという概念はもちろん存在しない。ファイル名と実際のディスク上の対応を管理するのがファイルシステムの主な役割である。ファイルシステムは、ファイル名からそのファイルに対応するブロック番号（メモリアドレスみたいなもんだな）を調べて、そのブロック番号を指定してHDDやSSDにアクセスす
Linux Kernel Watch 6月版 君は知っているか？ 2.6.30の変更内容を（1/2） − ＠IT
6月版 君は知っているか？ 2.6.30の変更内容を 小崎資広 2009/7/1 今年の「セキュリティ＆プログラミングキャンプ」（注1）の講師をすることになってしまい、講義準備とこの原稿の締め切りがバッティングして大忙しの筆者です。皆さま、いかがお過ごしでしょうか。 今月は、6月10日にリリースされた2.6.30を中心に見ていきたいと思います。それではどうぞっ。 注1：http://www.jipdec.or.jp/camp/。この記事が公開されるころには締め切り間近だと思うのですが、これはすごいよ。有料のカンファレンスでも、この面子が一堂に集まるなんてあり得ない講師陣です。Linux以外のコースも注目です。……お盆の時期に時間が取れる学生限定ですが。 ファイルシステム周りの追加 ■日本発のログ構造化ファイルシステム「NILFS」 NILFS（New Implementation of a
kickstart で CentOS 5 を自動インストールする - chibilog++
kickstart ファイルの準備 kickstart ファイルを作成し、/var/ftp に配置します。 ks_cent5.cfg という名前で、以下の内容を保存してください。 install url --url ftp://192.168.1.50//cent5 lang ja_JP.UTF-8 keyboard jp106 xconfig --startxonboot network --device eth0 --bootproto static --ip 192.168.1.100 --netmask 255.255.255.0 --gateway 192.168.1.1 --nameserver 192.168.1.1 --hostname Cent.chibi.name rootpw --iscrypted $1$hxgA33Vz$E/781by1lbNk1pz4Mh0L
仙石浩明の日記: initramfs (initrd) の init を busybox だけで書いてみた
ブートパラメータとして「initrd=」を与えると、 ブートローダがイメージをメモリ上に読み込んでカーネルに渡す。 するとカーネルはそのイメージがファイルシステムなのか、 cpio アーカイブなのか調べる。 もしファイルの magic number が cpio であれば、 ramfs としてマウントする。 そして /init が実行可能ならば、 initramfs として扱い、 /init を起動する。 以上の条件が一つでも成立しない場合、 すなわち cpio アーカイブでない場合や、 /init が実行できない (/init が存在しない) 場合は、 initrd 扱いになるので注意が必要である。 すなわち RAM ディスクとしてマウントしようとするので、 カーネルに RAM ディスクドライバが組み込まれていなかったり、 「root=/dev/ram0」カーネルパラメータを指定していな
rsyncで差分バックアップを行うための「--link-dest」オプション
rsyncはオプションを駆使すれば、差分バックアップも簡単に行えます。今回は前回取り扱わなかった内容も含め、rsync上級者に進むために覚えておきたい「--link-dest」オプションを中心に紹介します。 前回は、rsyncにかんする基本的な事項について説明しました。今回は前回取り扱わなかった内容も含め、rsync上級者に進むために覚えておきたい「--link-dest」オプションを中心に紹介したいと思います。なお、本稿でサンプルとして示しているディレクトリ名やアカウント名は前回と同様以下のようにしています。 ローカルのバックアップ対象：~/dir1もしくは~/dir2 バックアップ先のリモートホスト：xxx.backup.com リモートホスト接続時のアカウント名：backupuser 基本形のおさらいと一部例外 まずはrsyncコマンドの基本形をおさらいしておきましょう。次のような形
多段 ssh / rsync するために ProxyCommand を使ってみる (2) - daily dayflower
さーて，どんどんこんらんさせていきますよ。 高度な例 (3) - 多段 ssh 要件は*1 host:gw1 に user:foo というアカウントがある host:gw2 に user:bar というアカウントがある host:target に user:baz というアカウントがある user:dayflower が host:local から host:gw1, host:gw2 を経由して host:target に user:baz で アクセスしたい ProxyCommand をカスケードして指定していけばなんとでもなります。実行例は下記のとおり((コマンドラインから実行する場合，実用上の理由から %h や %p などの展開は利用していません))。 local% ssh -o "ProxyCommand ssh -o 'ProxyCommand ssh -l foo -i fo
ウノウラボ Unoh Labs: プロセスの監視を行う デーモン monit
こんにちは satoです。 monitは プロセスの監視を行うデーモンです。 条件とそれに伴うアクションを指定することができます。 条件とは例えば以下のようなものがあります プロセスが起動していなかったら 特定のプロセスのメモリの使用量が あるサイズを超えたら 特定のプロセスのCPUの使用率が 50%を超えている状態が 10分続いたら 特定のポートに接続できなくなったら など アクションには以下のような物があります 起動、再起動する アラートメールを送信する ユーザスクリプトを実行する など これらを組み合わせて、プロセスの監視を行います。とくにユーザが作成したプログラムの監視などに効果を発揮します。インストールは RedHat系なら yum install monit で入ります。(CentOSや商用のRedHatはrpmforgeをリポジトリとして追加する必要があります) 主な設定ファ
ウノウラボ Unoh Labs: UNIXデーモンを作ろう
20070405コードレビュー posted by (C)フォト蔵 尾藤正人です 先日ウノウの勉強会でUNIXデーモンの作り方についてプレゼンしました。 UNIXのデーモンの仕組みはWebサービスの開発にあたって直接関係の深いトピックではないかもしれませんが、知っておいて損はないと思います。 発表資料と動画を公開しますので、よかったらご覧下さい。 普段は気にしないUNIXデーモンが裏で何をやってるのか、少しでも身近に感じていただければと思います。 発表資料の公開にはちまたで話題のScribdを使ってみました。 プレゼン資料はKeynoteで作ったのですが、PowerPoint形式に変換してアップロードする簡単にできました。 デモ用に実際に動く簡単なデーモンプログラム ccho(シコー) を作成しました。 ccho は前々回の勉強会で行ったGnu Autotoolsで作った bat プログラ
Knoppixのカスタマイズ
Knoppix 3.4以降(isolinux版)を自分用にカスタマイズ（再構成）する方法と，NTFSパーティションにおいたisoイメージを使って起動する方法について． 1 目的 ここではノートパソコンのNTFS領域（要するにCドライブ）にknoppixをインストールし，必要なときだけこれをブートする環境を構築することを目指す． そこで，今回の目標は 自分用に再構成したknoppix[1]のisoイメージを作る NTFS領域にisoをコピーし，産総研のinstall2win[4]を使用してブートする とする．これは， 通常はwindowsノートとして使用するが，時々linuxが必要になる（デモなど）． VMWareやcoLinuxは便利だが，特にグラフィック関連のパフォーマンスが苦しい． ということは，linuxでブートするしかない． しかしハードディスクのパーティションを切りなおしてlin
USB メモリブートの KNOPPIX
私が使用したメモリに関する記述 私が使用したのは、純粋な USB メモリではありません。 これは、USB ブートが可能かどうかを確認するために、 手持ちの機材だけで試験したからです。 Micro Drive はディジタルカメラ用のメモリです。 実際には、この機材でも USB からブートすることができました。 しかしこの機材は実用的ではありません。 なぜなら Micro Drive のアクセス速度が遅いからです。 測ったわけではありませんが、 CD-ROM ブートの KNOPPIX よりも遅い感じがします。 1GB のコンパクトフラッシュを使用すればより早くなると思いますが、 実際に使用する場合は USB 2.0 接続のフラッシュメモリの使用を勧めます。 1GB のドライブサイズによる変更 ドライブサイズが 1GB になったことで、 上記レポートとは若干異なる作業が必要になります。 主な理由
【ハウツー】USBメモリを使ってLinuxを起動しよう (2) KNOPPIXをカスタマイズしてUSB-Linuxをもっと便利に | エンタープライズ | マイコミジャーナル
KNOPPIX(CD-ROM版Linux)をカスタマイズ 64MBに対応したFlonixをインストールしただけでも大きな進展(?)ではあるのだが、Flonix自体がKNOPPIXのカスタマイズ版ということもあり、KNOPPIXをカスタマイズして64MBよりも大きな(ここでの目標は512MB)USBメモリでも動作させたいもの。現状、KNOPPIXのバージョン3.3Jが公開されていて、日本語が利用できるのは当然ながら、OpenOffice.orgなどの実用的なアプリケーションが付属するのが強みであろう。ここでは、ユーザがデスクトップ環境を得られるかをポイントにカスタマイズを試みてみた。KNOPPIXをカスタマイズするにはDebian GNU/Linuxディストリビューション(以降Debianと記述)が起動するPCが必要となる。 KNOPPIXのブート前の画面 1.KNOPPIXを小さく 前述の
ＫＮＯＰＰＩＸ実験室
ご来訪いただき、ありがとうございます。 あなたは番目のご来訪者です。 (since 2003/6/24) KNOPPIXはハードディスクを使用せずにCDROMだけでブートできるLinuxの一つです。CDROMから直接ブートし、CDROMとRAMディスクだけでLinuxを起動、さらに、X WindowやKDEまで起動してしまおうという優れものです。起動時にハードディスクを使わないので、ハードディスクのバックアップやデータの修復には重宝します。 また、KNOPPIXの中核部分がcloopファイルシステムで１つのファイルにまとめられており、この部分はFAT32パーティションやRAMディスクにコピーして使うことも出来ます。これは、これまでのCDブートLinuxには無かった新たな特徴です。これをうまく使えば、新たな用途が開けるかもしれません。 このページでは、これらの特徴を踏まえた上で
カーネルパニックで自動リブートの設定、教えます - builder by ZDNet Japan
Linuxのカーネルは頑強で安定しているが、ときにはカーネルパニックに陥ることもある。その原因はハードウェアかもしれないしソフトウェアかもしれない。滅多に起こらないことではあるのだが、それでも起こりうるのだ。 もし、あなたがサーバやその他の常時稼働しているシステムの管理者で、簡単にはアクセスできないような場所にマシンが設置されているのなら、カーネルパニックに陥ってしまったときにはわざわざシステムのリブートのために出向く必要がある。もしくは、無理を言ってほかの誰かにそれをお願いするしかない。しかし、/etc/sysctl.confの設定に少し手を加えれば、カーネルパニック時に自動的にリブートを行うことが可能になる。この設定ファイルでは、カーネルの動作に関するさまざまなパラメータを調整することが可能なのだ。 以下の行を/etc/sysctl.confに加えてみよう。 kernel.panic
ステートフルパケットフィルタを使ったサービスの公開
ステートフルパケットフィルタを使ったサービスの公開：習うより慣れろ！ iptablesテンプレート集（1）（1/6 ページ） 初心者にとって、iptablesは設定が最も困難な機能の1つである。そこで、学習の第1歩としてテンプレートを自分の環境に合わせて修正することから始めよう。（編集部） インターネットに接続したLinuxサーバにパケットフィルタを適用するのはもはや常識です。社内のセキュリティ規定にも、「Linuxサーバではiptablesを適切に設定すること」などと明記されていることも珍しくありません。ネットワークに対する知識の有無にかかわらず、Linuxでサーバを立てる際にはiptablesの設定は避けて通れません。 しかしiptablesなどのパケットフィルタツールを理解するには、ネットワークについての深い知識、しかもパケットレベルのミクロな知識が必要になります。本連載では、そのよ
nlコマンドでseqコマンドのエミュレート - 技術メモ帳
どさにっきで非常に詳細にやっていただいた http://ya.maya.st/d/200611b.html#s20061112_2 のだが、実は nl コマンドを使ったら楽なんじゃないかな と思ったのでやってみた。 利点として、いろんな環境に nl コマンドは入ってる。 とりあえず、Linux, cygwin, Darwin, FreeBSDには入ってる susv3に定義されてる http://www.opengroup.org/onlinepubs/009695399/utilities/nl.html ゼロ埋めは、-w パッディング数 と -nrz という 左寄せゼロ埋めオプションの組み合わせで可能 $ yes '' | nl -ba -nrz -w3 | head 001 002 003 004 005 006 007 008 009 010 インクリメント数の指定は、-i 数値 で
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://www.machu.jp/posts/20081117/p01/
CentOS 5 で DAG(rpmforge) の yum repository 追加 - Enjoi Blog
はてなブログ | 無料ブログを作成しよう
テンアートニ – JavaとLinuxの時代を創造