xargsコマンドを使って指定したコマンドを並列実行させる - 技術メモ帳
あまり知られていないが、GNUのxargsコマンドには、 プロセスの最大数を設定できるオプションというのが用意されている。 コレを使って、プロセスを並列実行させてみよう。 xargs --max-procs=MAX-PROCS -P MAX-PROCS command MAX-PROCSに数字を指定すると、 最大で、その数だけ command プロセスを生成する。 デフォルトは、1プロセスだけになっている。 いくつか例を交えて説明する。 サンプルとして、以下のようにURLが行ごとに記述されたファイルを元に curlをxargsで並列実行して、HTMLデータを取得してみよう。 $ cat ./url_list.txt http://www.google.co.jp/ http://www.yahoo.co.jp/ http://b.hatena.ne.jp/ まず、普通にxargsを使ってc
技術メモ帳 - 二つのファイルに共通する行をエレガントに抽出
id:parasporospa さんの uniq -d と uniq -u についての記事を見た。 それぞれ、重複する行、ユニークな行を抽出するオプションなのだが、 それらを利用したおもろいTipsが紹介されている。 uniq の -d と -u - メモ帳 # a, b に共通な行を抜き出す cat a b | sort | uniq -d > common # a にだけ含まれる行を抜き出す cat a b | sort | uniq > all cat a all | sort | uniq -u >only_in_a (中略) 存在意義がわからなかったオプションの使い道を見つけたときは妙に感動する。 僕が、uniq のこれらのオプションを知ったのは、 無能上司に教えてもらったときだ。懐かしい。 uniq -c に鳥肌が立ったのが昨日のように思い出される。 通称アルファギークの Da
どさにっき 平ユーザで ports を使う
2007年1月12日(金) ■ Apache 2.2.4 _ 出た。 _ うーん、--with-included-apr がないと configure でコケる。なんでだろ。インストール済みの古いバージョンの APR を参照しちゃってるのかな。めんどくさいので、深くは追求しない。 _ とりあえず make まで。入れ替えは後で。 _ この前のパッチはたぶん使えなくなってると思う。実際に確認したわけじゃないけど。 ■ ローグ PS2 _ ちょとまて。太田純監修ってどういうことだ。rogue 風味じゃなくて、ほんまもんの rogue を PS2 で出すのか？ 正気か？ てゆーか最近 fj 見てないんだけど太田さんは今なにやってんの。 _ とりあえず1ヶ所だけツッコミ入れたい。 ローグは80年代にコンピューターのキー操作の習得用ソフトとして開発され、 ちげーよ！ _ ひさしぶりにインストールして
Geekなぺーじ：10のUNIX小技
IBMのサイトで「Learn 10 good UNIX usage habits」という記事が発表されていました。 面白かったので要約してみました。 変な部分があるかも知れないので詳細は原文をご覧下さい。 原文とは一部異なります。 本ページスペースなどの関係でコマンド引数などを短く省略しています。 原文のサンプルコマンドが間違っていたりするので、修正している部分もあります。 原文を修正しているのは、tar.gzをzオプションを使わないでxfvしようとしているところと、xargsにlsではなくls -lを渡している部分です。 あと、説明文を短くしてしまっています。 1. ディレクトリの作成 良く使うコマンドの一つであるmkdirですが、面倒臭い使い方をしていませんか？ 悪い例 ~/ $ mkdir a ~/ $ cd a ~/a $ mkdir b ~/a $ cd b ~/a/b/ $ m
sticky-shift
sticky shift problem 皆様は1文字だけ大文字を打つときはどのようにされていますか。 きっと「シフトを押しながら打つ」ことで大文字を入力しているんじゃないでしょうか。 これは至極一般的な方法ですが、僅かながら問題もあります。 シフトキーというのは左右に一個ずつあるので、右手で打つべきアルファベットの場合は シフトキーは左手で、左手で打つべきアルファベットの場合はシフトキーは右手で、とい うことになりますよね。 THE とか AND のように大文字だけなら Caps Lock すりゃいいですけど、IsFileOpen と か setNextDate みたいな java 等にありがちな大小字混合のメソッドを打つときはあち こちに指が飛ぶのでせわしないことこの上ないわけです。 そして何より、左手でシフトを押しているときに同じ左手の領域の文字を打とうとすると極端 に効率が
WhirlwindTutorialOnCreatingReallyTeensyElfExecutablesForLinux -
WhirlwindTutorialOnCreatingReallyTeensyElfExecutablesForLinux - 目次 Linux で動く極小 ELF 実行ファイルをつくる怒涛のチュートリアル (あるいは "Size Is Everything") コメント 以下の文章の日本語訳です: http://www.muppetlabs.com/~breadbox/software/tiny/teensy.html gcc の info の日本語は以下のページから拝借しました: http://www.asahi-net.or.jp/~wg5k-ickw/html/online/gcc-2.95.2/gcc_2.html#SEC13 Linux で動く極小 ELF 実行ファイルをつくる怒涛のチュートリアル (あるいは "Size Is Everything") She studied
カラフル端末で視認性を高める - grepとシェルのプロンプト編 : DSAS開発者の部屋
このブログに含まれる「DSAS」という文字列をgrepしてみます。 どこに「DSAS」があるのかさっぱりわかりません (^^; grepの結果を| less -p DSASとかに渡せばlessがハイライトして識別しやすくなるのですが、ここはgrepのカラフル機能(--color=auto)を使ってみます。 だいぶ識別しやすくなりました。 ハイライトの色を変更するには、色指定を環境変数GREP_COLORにセットします。指定の形式は前回紹介したlsのdircolorsと同じです。例えば、太字の黄色にしたい場合はこのようにします。 export GREP_COLOR='01;33' あと、毎回--color=autoと指定するのは面倒なので、環境変数GREP_OPTIONSにセットしておきましょう。GREP_OPTIONSにセットしたオプションは、暗黙的に効果を発揮します。 export GR
VMware病, stowを使ってtar玉をパッケージ風に管理する, stowによるQDBMのインストール, stowによるHyperEstraierのインストール - 32nd Diary(2006-11-15)
めーるあどれす ruby -rbase64 -e'puts Base64.decode64 %q(dGFrYW5vMzJAZ21haWwuY29t)' ■ [Linux][UNIX] stowを使ってtar玉をパッケージ風に管理するGNU Stow を使えば tar玉のアーカイブをパッケージ風に扱うことができる． 以下ではstow自身をstowの機能を利用して，ホームディレクトリにインストールする方法について説明しよう． 環境変数の設定まず，ホームディレクトリの local ディレクトリ以下でstowによる管理をすることを考え，以下のような環境変数を設定する． # stow export PATH=$HOME/local/bin:$PATH export MANPATH=$HOME/local/man:$MANPATH export LD_LIBRARY_PATH=$HOME/local/
Geekなぺーじ : Linuxにデフラグが無い理由
Interop 2023のShowNetバックボーン詳解 Interop Tokyo 2023のShowNetバックボーンに関して、ShowNet NOCの中村遼さんからの寄稿を頂きました。 詳細であり、かつ、わかりやすい素晴らしい解説、ありがとうございます！ Interop 2023のShowNetバックボーン 続きを読む... Interop Tokyo 2023 ShowNet取材動画 今年のShowNetは、初の動画取材にチャレンジしました。 これまで、ShowNetの取材をしていて、「この取材で一番楽しんでいるのは自分だな」と感じていました。 例年、ShowNet NOCの方々や、その他専門家の方々から色々なお話を伺って記事を書くのですが、取材の過程で話が凄く盛り上がっていく瞬間というのが多く、「この瞬間の楽しさ、というか熱量、を文章という形にしてしまうと伝えきれない」と感じてい
zshのzptyを使って端末が必要な処理を自動化する - 技術メモ帳
zsh のモジュールに zpty というのがあるのを最近発見した。 どうもコレを利用すれば指定したコマンドを 仮想端末上で実行することが出来るらしい。 具体的にどういったことが出来るようになるのかというと、 端末が必要なプログラムを自動化することが出来る。 たとえば、パスワード入力処理などだ。 パスワード文字列を標準入力から読み込ませようとしても、 大抵のプログラムでは入力できない。 なぜかというと、多くのプログラムにおいてパスワード入力処理は 端末から読み込むように作られているからだ。 zpty を利用すればそういったたぐいのものをすべて自動化できる。 いわゆる、expect というコマンドで実現していたことが zsh だけで出来るのだ。 今回は、簡単に試すことが出来るサンプルとして、 su コマンドのパスワード入力を zpty を使って自動化してみる。 まず、zsh に標準添付されてい
技術メモ帳 - 拡張子ごとにコマンドを対応づける
拡張子ごとにコマンドを対応づける事が出来る Suffix Alias という機能が zsh 4.2系から実装されていたらしい。 知らなかった。 どんな事が出来るのかというと たとえば、 alias -s txt=cat とした場合、 以下のようにするだけで、 % ./file.txt 先ほど設定したコマンドが自動で実行されるようになる。 % cat ./file.txt あとはもうアイデアしだいだが、 拡張子が *.log のときは、tail -f するなんて事も出来る。 alias -s log='tail -f' 参考: http://zshwiki.org/home/examples/aliassuffix http://slashdot.jp/articles/04/03/27/2333234.shtml?topic=80 http://zsh.dotsrc.org/Doc/Rel
日本IBM
ワークプレイスを最適化し、虎ノ門に本社を移転 日本IBMは、2024年1月に、虎ノ門・神谷町エリアに事業所を新設し、そこに本社を移転します。 ニュースリリース watsonx Graniteモデル・シリーズ、IBM watsonxモデル向けお客様保障の提供開始を発表 IBM TechXchange Conference Japan（2023年10月31日～11月1日） 無料評価版：エンタープライズ・グレードのAIモデルを構築 無料評価版：あらゆるデータを対象に、AIワークロードを拡張 SPSS Statisticsの年間サブスクリプション選択で10％割引 ストレージの構成比較から見積までを簡単に
日本IBM
ワークプレイスを最適化し、虎ノ門に本社を移転 日本IBMは、2024年1月に、虎ノ門・神谷町エリアに事業所を新設し、そこに本社を移転します。 ニュースリリース watsonx Graniteモデル・シリーズ、IBM watsonxモデル向けお客様保障の提供開始を発表 IBM TechXchange Conference Japan（2023年10月31日～11月1日） 無料評価版：エンタープライズ・グレードのAIモデルを構築 無料評価版：あらゆるデータを対象に、AIワークロードを拡張 SPSS Statisticsの年間サブスクリプション選択で10％割引 ストレージの構成比較から見積までを簡単に
[戯] connect を使って簡単に多段 SSH を実現する方法
connect を使って簡単に多段 SSH を実現する方法 2006-09-04-2: [Security] OpenSSH 限定の話になるのかもしれませんが，localhost から remotehost1 を経由して remotehost2 に接続するような 多段 SSH を実現するには，ポートフォワードを使う方法がありました． この話は以前ここでも，話題に上げたことがありました ([2005-01-24-2])． もちろんこの方法でも実現できますが，OpenSSH の ProxyCommand を利用することで簡単に多段 SSH が実現できます． 1. ソース (http://www.meadowy.org/~gotoh/ssh/connect.c) を取得します． 2. ソースのコメントを参考に connect.c をコンパイルします．うちの環境は Solaris なので，以下のよ
fision: 同一内容のファイルを単一 i-node にまとめる: uyota 匠の一手
pdumpfs を使ってバックアップを取っている。特定の日のファイルを全て、そのままのディレクトリ構造で保存しておきたいからだ。pdumpfs のバックアップは月に一度しかやらないが、ファイルがたまっていく。pdumpfs でも明記されているが、長期にわたって続けていると cp や mv などの影響で複製がどんどん増えていくのも困り物だ。 同じ内容のファイルをハードリンクに変えるプログラムを探したが見つからなかった。同じ内容のファイルを探して、削除するプログラムはたくさん見つかったが。同じ内容だからといって、消されては困るのだ。 そこで、同一内容のファイルを一つの i-node にまとめるプログラムを書いた。指定されたディレクトリ内のファイルの大きさでまとめ、同じサイズのファイルを比較する。もし、ファイルの内容が同じと判定されたら、新しい方のファイルを削除し、古い方のファイルへのハードリン
utlshell - disklessfun’s Wiki*
私自身が重宝している自作シェルスクリプトを紹介します。 一応「役に立つ」と謳っていますが、ニッチな機能なスクリプトばかりです。実態は「一部の人だけに役に立つスクリプト群」です。 全て自由に使って頂いて結構です。 個々のスクリプトを丸ごと掲載するスタイルの為、ページ全体で重複部分が多くならないように、意識的に書式にバラエティを持たせてあります。たとえば文字列の切り出しはcut,awkのsubstr,bashの機能等、様々な方法を適当に使用しています。 Ubuntuの場合、デフォルトではsh=dashなので"if ["を使っている個所は手直しが必要です。 私の場合は手っ取り早くこのように $ cd /bin ; sudo ln -sf bash sh sh=bashに変更してしまって対応することが多いです。(2010-3-4追記)最近はやらないです。ただし今後作成するものについてはbash専用
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
lessでtail -f - 技術メモ帳
IBM Developer
http://www.typemiss.net/blog/kounoike/20061019-100
http://mac.pqrs.org/unix/index.html.ja