xargsコマンドを使って指定したコマンドを並列実行させる - 技術メモ帳
あまり知られていないが、GNUのxargsコマンドには、 プロセスの最大数を設定できるオプションというのが用意されている。 コレを使って、プロセスを並列実行させてみよう。 xargs --max-procs=MAX-PROCS -P MAX-PROCS command MAX-PROCSに数字を指定すると、 最大で、その数だけ command プロセスを生成する。 デフォルトは、1プロセスだけになっている。 いくつか例を交えて説明する。 サンプルとして、以下のようにURLが行ごとに記述されたファイルを元に curlをxargsで並列実行して、HTMLデータを取得してみよう。 $ cat ./url_list.txt http://www.google.co.jp/ http://www.yahoo.co.jp/ http://b.hatena.ne.jp/ まず、普通にxargsを使ってc
技術メモ帳 - 二つのファイルに共通する行をエレガントに抽出
id:parasporospa さんの uniq -d と uniq -u についての記事を見た。 それぞれ、重複する行、ユニークな行を抽出するオプションなのだが、 それらを利用したおもろいTipsが紹介されている。 uniq の -d と -u - メモ帳 # a, b に共通な行を抜き出す cat a b | sort | uniq -d > common # a にだけ含まれる行を抜き出す cat a b | sort | uniq > all cat a all | sort | uniq -u >only_in_a (中略) 存在意義がわからなかったオプションの使い道を見つけたときは妙に感動する。 僕が、uniq のこれらのオプションを知ったのは、 無能上司に教えてもらったときだ。懐かしい。 uniq -c に鳥肌が立ったのが昨日のように思い出される。 通称アルファギークの Da
どさにっき 平ユーザで ports を使う
2007年1月12日(金) ■ Apache 2.2.4 _ 出た。 _ うーん、--with-included-apr がないと configure でコケる。なんでだろ。インストール済みの古いバージョンの APR を参照しちゃってるのかな。めんどくさいので、深くは追求しない。 _ とりあえず make まで。入れ替えは後で。 _ この前のパッチはたぶん使えなくなってると思う。実際に確認したわけじゃないけど。 ■ ローグ PS2 _ ちょとまて。太田純監修ってどういうことだ。rogue 風味じゃなくて、ほんまもんの rogue を PS2 で出すのか？ 正気か？ てゆーか最近 fj 見てないんだけど太田さんは今なにやってんの。 _ とりあえず1ヶ所だけツッコミ入れたい。 ローグは80年代にコンピューターのキー操作の習得用ソフトとして開発され、 ちげーよ！ _ ひさしぶりにインストールして
Geekなぺーじ：10のUNIX小技
IBMのサイトで「Learn 10 good UNIX usage habits」という記事が発表されていました。 面白かったので要約してみました。 変な部分があるかも知れないので詳細は原文をご覧下さい。 原文とは一部異なります。 本ページスペースなどの関係でコマンド引数などを短く省略しています。 原文のサンプルコマンドが間違っていたりするので、修正している部分もあります。 原文を修正しているのは、tar.gzをzオプションを使わないでxfvしようとしているところと、xargsにlsではなくls -lを渡している部分です。 あと、説明文を短くしてしまっています。 1. ディレクトリの作成 良く使うコマンドの一つであるmkdirですが、面倒臭い使い方をしていませんか？ 悪い例 ~/ $ mkdir a ~/ $ cd a ~/a $ mkdir b ~/a $ cd b ~/a/b/ $ m
sticky-shift
sticky shift problem 皆様は1文字だけ大文字を打つときはどのようにされていますか。 きっと「シフトを押しながら打つ」ことで大文字を入力しているんじゃないでしょうか。 これは至極一般的な方法ですが、僅かながら問題もあります。 シフトキーというのは左右に一個ずつあるので、右手で打つべきアルファベットの場合は シフトキーは左手で、左手で打つべきアルファベットの場合はシフトキーは右手で、とい うことになりますよね。 THE とか AND のように大文字だけなら Caps Lock すりゃいいですけど、IsFileOpen と か setNextDate みたいな java 等にありがちな大小字混合のメソッドを打つときはあち こちに指が飛ぶのでせわしないことこの上ないわけです。 そして何より、左手でシフトを押しているときに同じ左手の領域の文字を打とうとすると極端 に効率が
WhirlwindTutorialOnCreatingReallyTeensyElfExecutablesForLinux -
WhirlwindTutorialOnCreatingReallyTeensyElfExecutablesForLinux - 目次 Linux で動く極小 ELF 実行ファイルをつくる怒涛のチュートリアル (あるいは "Size Is Everything") コメント 以下の文章の日本語訳です: http://www.muppetlabs.com/~breadbox/software/tiny/teensy.html gcc の info の日本語は以下のページから拝借しました: http://www.asahi-net.or.jp/~wg5k-ickw/html/online/gcc-2.95.2/gcc_2.html#SEC13 Linux で動く極小 ELF 実行ファイルをつくる怒涛のチュートリアル (あるいは "Size Is Everything") She studied
カラフル端末で視認性を高める - grepとシェルのプロンプト編 : DSAS開発者の部屋
このブログに含まれる「DSAS」という文字列をgrepしてみます。 どこに「DSAS」があるのかさっぱりわかりません (^^; grepの結果を| less -p DSASとかに渡せばlessがハイライトして識別しやすくなるのですが、ここはgrepのカラフル機能(--color=auto)を使ってみます。 だいぶ識別しやすくなりました。 ハイライトの色を変更するには、色指定を環境変数GREP_COLORにセットします。指定の形式は前回紹介したlsのdircolorsと同じです。例えば、太字の黄色にしたい場合はこのようにします。 export GREP_COLOR='01;33' あと、毎回--color=autoと指定するのは面倒なので、環境変数GREP_OPTIONSにセットしておきましょう。GREP_OPTIONSにセットしたオプションは、暗黙的に効果を発揮します。 export GR
VMware病, stowを使ってtar玉をパッケージ風に管理する, stowによるQDBMのインストール, stowによるHyperEstraierのインストール - 32nd Diary(2006-11-15)
めーるあどれす ruby -rbase64 -e'puts Base64.decode64 %q(dGFrYW5vMzJAZ21haWwuY29t)' ■ [Linux][UNIX] stowを使ってtar玉をパッケージ風に管理するGNU Stow を使えば tar玉のアーカイブをパッケージ風に扱うことができる． 以下ではstow自身をstowの機能を利用して，ホームディレクトリにインストールする方法について説明しよう． 環境変数の設定まず，ホームディレクトリの local ディレクトリ以下でstowによる管理をすることを考え，以下のような環境変数を設定する． # stow export PATH=$HOME/local/bin:$PATH export MANPATH=$HOME/local/man:$MANPATH export LD_LIBRARY_PATH=$HOME/local/
Geekなぺーじ : Linuxにデフラグが無い理由
「ピアリング戦記」の英訳版EPUBを無料配布します！ 英語のIT系技術書が日本語訳されて海外に届けられることは多く行われていますが、日本語版から英語版への翻訳には高いハードルがあります。 過去に、何度か私が書いた本を英語に翻訳して出版することはできないかを模索したことがありますが、これまで企画が実現することはありませんでした（中国語への翻訳はあります）。 しかし、今回、私としては初となる英訳版を上梓することができました。 2022年に出版した「ピアリング戦記 - 日本のインターネットを繋ぐ技術者たち」ですが、これを日本語だけにしておくのはもったいないという声を内外でいただき、それを受けて英訳を行うプロジェクトが去年動き始めました。 続きを読む... IPv4アドレス移転の売買価格推移および移転組織ランキング100 IPv4アドレスの中央在庫が2011年に枯渇後、IPv4アドレスの移転や、移
zshのzptyを使って端末が必要な処理を自動化する - 技術メモ帳
zsh のモジュールに zpty というのがあるのを最近発見した。 どうもコレを利用すれば指定したコマンドを 仮想端末上で実行することが出来るらしい。 具体的にどういったことが出来るようになるのかというと、 端末が必要なプログラムを自動化することが出来る。 たとえば、パスワード入力処理などだ。 パスワード文字列を標準入力から読み込ませようとしても、 大抵のプログラムでは入力できない。 なぜかというと、多くのプログラムにおいてパスワード入力処理は 端末から読み込むように作られているからだ。 zpty を利用すればそういったたぐいのものをすべて自動化できる。 いわゆる、expect というコマンドで実現していたことが zsh だけで出来るのだ。 今回は、簡単に試すことが出来るサンプルとして、 su コマンドのパスワード入力を zpty を使って自動化してみる。 まず、zsh に標準添付されてい
技術メモ帳 - 拡張子ごとにコマンドを対応づける
拡張子ごとにコマンドを対応づける事が出来る Suffix Alias という機能が zsh 4.2系から実装されていたらしい。 知らなかった。 どんな事が出来るのかというと たとえば、 alias -s txt=cat とした場合、 以下のようにするだけで、 % ./file.txt 先ほど設定したコマンドが自動で実行されるようになる。 % cat ./file.txt あとはもうアイデアしだいだが、 拡張子が *.log のときは、tail -f するなんて事も出来る。 alias -s log='tail -f' 参考: http://zshwiki.org/home/examples/aliassuffix http://slashdot.jp/articles/04/03/27/2333234.shtml?topic=80 http://zsh.dotsrc.org/Doc/Rel
日本IBM
生成AIによりAIのROIは13%から31%に急上昇。ビジネスを飛躍させるAIとは AI特集ページを見る ニュースリリース 最新情報 日本IBM とIIJが協業し、地域金融機関向けに「分散基盤共同プラットフォーム」を提供開始 三菱UFJ銀行、IIJとの協業により、既存の枠組みを超え、地域金融機関向けに新たに「金融ハイブリッドクラウド・プラットフォーム」の提供を開始 IBMとNASA、気象・気候への応用に適したオープンソースのAIモデルをHugging Faceで公開 ジェイアイ傷害火災保険、AI画像解析によるスーツケース破損検知と自動送金サービスを活用した「スーツケース破損保険金自動支払いサービス」を提供開始 IBM、欧州委員会とAI協定を締結 IBM、オラクルのユーザー企業向けに生成AIの拡張を支援する新サービスを開始 IBMがKubecost社を買収し、ハイブリッドクラウドのコスト管理
[戯] connect を使って簡単に多段 SSH を実現する方法
connect を使って簡単に多段 SSH を実現する方法 2006-09-04-2: [Security] OpenSSH 限定の話になるのかもしれませんが，localhost から remotehost1 を経由して remotehost2 に接続するような 多段 SSH を実現するには，ポートフォワードを使う方法がありました． この話は以前ここでも，話題に上げたことがありました ([2005-01-24-2])． もちろんこの方法でも実現できますが，OpenSSH の ProxyCommand を利用することで簡単に多段 SSH が実現できます． 1. ソース (http://www.meadowy.org/~gotoh/ssh/connect.c) を取得します． 2. ソースのコメントを参考に connect.c をコンパイルします．うちの環境は Solaris なので，以下のよ
fision: 同一内容のファイルを単一 i-node にまとめる: uyota 匠の一手
pdumpfs を使ってバックアップを取っている。特定の日のファイルを全て、そのままのディレクトリ構造で保存しておきたいからだ。pdumpfs のバックアップは月に一度しかやらないが、ファイルがたまっていく。pdumpfs でも明記されているが、長期にわたって続けていると cp や mv などの影響で複製がどんどん増えていくのも困り物だ。 同じ内容のファイルをハードリンクに変えるプログラムを探したが見つからなかった。同じ内容のファイルを探して、削除するプログラムはたくさん見つかったが。同じ内容だからといって、消されては困るのだ。 そこで、同一内容のファイルを一つの i-node にまとめるプログラムを書いた。指定されたディレクトリ内のファイルの大きさでまとめ、同じサイズのファイルを比較する。もし、ファイルの内容が同じと判定されたら、新しい方のファイルを削除し、古い方のファイルへのハードリン
役に立つシェルスクリプト群 - disklessfun’s Wiki*
私自身が重宝している自作シェルスクリプトを紹介します。 一応「役に立つ」と謳っていますが、ニッチな機能なスクリプトばかりです。実態は「一部の人だけに役に立つスクリプト群」です。 全て自由に使って頂いて結構です。 個々のスクリプトを丸ごと掲載するスタイルの為、ページ全体で重複部分が多くならないように、意識的に書式にバラエティを持たせてあります。たとえば文字列の切り出しはcut,awkのsubstr,bashの機能等、様々な方法を適当に使用しています。 Ubuntuの場合、デフォルトではsh=dashなので"if ["を使っている個所は手直しが必要です。 私の場合は手っ取り早くこのように $ cd /bin ; sudo ln -sf bash sh sh=bashに変更してしまって対応することが多いです。(2010-3-4追記)最近はやらないです。ただし今後作成するものについてはbash専用
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
lessでtail -f - 技術メモ帳
IBM Developer
http://www.typemiss.net/blog/kounoike/20061019-100
http://mac.pqrs.org/unix/index.html.ja
日本IBM