脳みそプリン: シェルで簡単にデータを並列処理する
2008年1月30日 シェルで簡単にデータを並列処理する 最近はマルチコアのCPUが主流なので、CPUがボトルネックとなる一般的なプログラムの場合、単純に処理を複数のプロセスで同時に実行すると効率が良い。 起動するプロセス数だが、実行するマシンにおけるCPUのコア数に合わせるのが手っ取り早い。 入力データをどのように複数のプロセスに分担させるかだが、これも手っ取り早い方法がある。すべてのプロセスに入力データを読ませ、自分の担当行だけ処理させるのである。全体としてみれば、これですべての入力データが処理されることになる。 100万行のテキストファイルを4プロセスで処理させるのであれば、 プロセス1は1～25万行目プロセス2は25万1行目～50万行目プロセス3は50万1行目～75万行目プロセス4は75万1行目～100万行目以上のように各プロセスは自分の担当行だけ処理して、あとの行は読み飛ばせばよ
モバイルページ向けの画像をリアルタイムで作成するために「lsyncd」を使ってみた
2010年度5月分のGIGAZINEのアクセス解析結果でも述べられていますが、モバイル版GIGAZINE（http://m.gigazine.net/）の画像の大きさと画質を向上させました。その画像作成には「lsyncd」を用いています。 lsyncdはLinux 2.6.13から導入されたinotifyと呼ばれるファイルシステムイベント監視機構を用いてファイルを同期するためのデーモンで、最新の実装 (現時点で1.33) ではサブディレクトリの再帰的監視、監視ディレクトリを引数としたコマンド実行 (デフォルトではrsyncが実行される) が可能です。 本来、このlsyncdはコンピュータ間でのファイルの同期を行うためのものですが、この「監視ディレクトリを引数としたコマンド実行」の機能を用いて、縮小画像を作成するスクリプトをリアルタイムで作成するようにしてみました。 詳細は以下から。 lsy
めっちゃ便利やねん find コマンドのオプションまとめ | バシャログ。
こんにちは nakamura です。そういえば 4/1 から 神奈川県公共的施設における受動喫煙防止条例 が施行されましたね。今のところよく行くお店でそれらしい光景は見掛けませんが、先日行った居酒屋はものの見事に禁煙になっていて心なしか客足もまばらな感じでした。神奈川県の飲食はこれから厳しそうですな。 さてさて思わず関西弁になってしまうほど便利な find コマンドを今日はご紹介します。比較的有名なコマンドですが、オプションが相当な数あり正直全てを把握するのは無理かもしれません。ただ、よく使うものだけでも頭に入れておくと何かと便利な優れものなのです。 基本的なオプション まずは基本的な使い方。 -type ファイルタイプの指定に使用するオプションです。スペシャルファイルや名前付きパイプ等様々な引数がありますが、よく使うのはディレクトリを示す d と通常ファイルを示す f でしょうか。 -n
自動scpスクリプトでキーが書き換わった場合にexpectでのif文の書き方は? - OKWAVE
度々スイマセン。 自動パスワード入力でscpコマンドを実行させたく思っています。 Win2kのCygwinで下記のスクリプトを試してみました。 $ cat ./test.sh #!/bin/bash -x HOST=foo.hoge.dyndns.net UNAME=user01 PASSWD=xxxxxxxx TARGET=/cygdrive/c/cygwin/home/root/hoge /usr/bin/zip -r $TARGET.lzh $TARGET expect -c " set timeout 20 spawn scp -P 60001 $TARGET.zip $UNAME@$HOST:$DSTNTN ; expect \"password:\" ; send \"$PASSWD\r\" ; interact " で、成功しましたがキーが変わった時には「yes」と自動で入力
postgresql パフォーマンスチューニング
このサイトは、もともと作者の自分用メモとして書き始めたものです。書いてあることが全て正しいとは限りません。他の文献、オフィシャルなサイトも確認して、自己責任にて利用してください。 数十万レコードのデータを持つ大規模なテーブルを扱うようになると、クエリによっては回答が得られるまでに数秒かかるケースも出てくる。これは、より多くのメモリやディスクの使用を PostgreSQL に許すことで改善される可能性が高い。ただし、扱っているデータベースが小さい時には大した効果は望めない。また、そもそもの実装メモリが 256M とか 128M という貧弱な状態では、調整の余地さえなく、単なる悪あがきだ。以下は搭載メモリ 1 ギガを目安に書いている。更に、テーブルの素性とクエリパターンによっては、テーブル自体のクラスタ化が加速を上乗せしてくれるかもしれない -- クラスタリングや適切なインデックスの作成は、メ
IT系四畳半社長の独り言: Debian Linux でイーモバイルD31HW使う
2009年11月2日月曜日 Debian Linux でイーモバイルD31HW使う 下り最大21Mbps、上り最大5.8Mbpsのデータ通信カード(スティック)イーモバイルのD31HWを使ってみる。 事前調査によると、このカードは、ストレージとモデムの両方の機能を持っていて、とあるコマンドを送ることによりモードを切り替えられるとのこと。ストレージは、Windowsなどで最初に接続したときに、自動的にデバイスドライバをインストールするためのものであるとのこと。 http://blog.37to.net/2009/01/ubuntuemobiled21lc/ http://show-cha.seesaa.net/article/125815364.html カードを接続しlsusb で見ると、以下のエントリが現れる。 Bus 001 Device 004: ID 12d1:1446 Huawe
CentOS Server セットアップ備忘録 (7) - WebDAV でアクセスできるようにする - kamicupの備忘録
Web サーバの特定ディレクトリに WebDAV でアクセスできるように設定しました。 WebDAVアドレス: https://www.mydomain.com/hogehoge/ サーバ上のパス: /var/www.mydomain.com/hogehoge/ 認証方法: Basic認証（SSL越し） 1. /etc/httpd/conf/httpd.conf 内で dav_module と dav_fs_module が有効になっているのを確認。 2. /etc/httpd/conf.d/ssl.conf に以下を追記。 <Location /hogehoge> AuthType Basic AuthUserFile /var/www.mydomain.com/private/.htpasswd AuthName "Please enter your name and password
Linux スワップファイルの追加
[概要] Linuxのスワップファイルの追加方法を説明しています。 [詳細] Linuxにおいてスワップ領域が不足したときには、スワップファイルを追加することで領域を拡張することが出来ます。 ここでは、通常のファイルをスワップに追加する方法を説明します。 次の手順に従ってファイルをスワップへ追加してください。 スワップに追加するファイルを作成します。 [root ~]# dd if=/dev/zero of=/swapfile bs=1024K count=4096 4096+0 records in 4096+0 records out 4294967296 bytes (4.3 GB) copied, 26.4916 seconds, 162 MB/s ※この例では、/swapfileという名前のファイルをサイズ4GBの大きさで、作成しています。 ファイル名、パスを変更する場合には"/
連載記事 「ApacheによるWebサーバ構築」
Apacheについて知ろう 連載：ApacheによるWebサーバ構築（1） 「Apache」でWebサーバを構築。今回は、「なぜApacheなのか？」を改めて確認するとともにApacheの概要を解説する
Linux のプロセスが Copy on Write で共有しているメモリのサイズを調べる
Linux は fork で子プロセスを作成した場合、親の仮想メモリ空間の内容を子へコピーする必要があります。しかしまともに全空間をコピーしていたのでは fork のコストが高くなってしまいますし、子が親と同じようなプロセスとして動作し続ける場合は、内容の重複したページが多数できてしまい、効率がよくありません。 そこで、Linux の仮想メモリは、メモリ空間を舐めてコピーするのではなく、はじめは親子でメモリ領域を共有しておいて、書き込みがあった時点で、その書き込みのあったページだけを親子で個別に持つという仕組みでこの問題を回避します。Copy-On-Write (CoW) と呼ばれる戦略です。共有メモリページは、親子それぞれの仮想メモリ空間を同一の物理メモリにマッピングすることで実現されます。より詳しくは コピーオンライト - Wikipedia などを参照してください。 この CoW に
ssh scp sftp の正しい自動実行方法
Landscape トップページ | < 前の日 2004-11-15 2004-11-17 次の日 2004-11-18 > Landscape - エンジニアのメモ 2004-11-17 ssh scp sftp の正しい自動実行方法 当サイト内を Google 検索できます * ssh scp sftp の正しい自動実行方法この記事の直リンクURL: Permlink | この記事が属するカテゴリ: [ssh] [セキュリティ] scp と sftp について調べていると、正しい自動実行についての文書を見つけた。cron から scp や sftp を自動実行しようと考えている私には役に立つ文書だ。 - 「専用のパスフレーズなしの鍵を作って権限限定」がベスト正しいssh/scpの自動運転は ぴろ日記 http://www.banana-fish.com/~piro/20040609.
ウェブリブログ：サービスは終了しました。
「ウェブリブログ」は 2023年1月31日 をもちましてサービス提供を終了いたしました。 2004年3月のサービス開始より19年近くもの間、沢山の皆さまにご愛用いただきましたことを心よりお礼申し上げます。今後とも、BIGLOBEをご愛顧賜りますよう、よろしくお願い申し上げます。 ※引っ越し先ブログへのリダイレクトサービスは2024年1月31日で終了いたしました。 BIGLOBEのサービス一覧
USBからCentOS5.3をインストールする -
CentOsのイメージを取得 http://mirror-status.centos.org/ を見ると、理研が良さそうだったので、 riken.jp から diskboot.img を頂きました。 $ wget "http://ftp.riken.jp/Linux/centos/5.3/os/i386/images/diskboot.img" -O diskboot.img-5.3 といっても12MBしかない。 USBにディスクイメージを書き込む マウント場所を探す $ mount /dev/disk1s1 on /Volumes/Untitled (msdos, local, nodev, nosuid, noowners) <~ これっぽい 強制的にアンマウント $ sudo umount -vf /dev/disk1s1 /dev/disk1s1 unmount from /Vol
Xming - PukiWiki
UNIX、LinuxなどのGUI画面をリモートのWindowsで表示・操作(キーボード・マウス)させるためのソフト。 複数ディスプレイ対応、256色〜フルカラー表示、XDMCP対応、 Windowsアプリの様に使えるマルチウインド機能、外部フォントサーバ使用など沢山の機能を完備。 ※開発中の最新版(R7.4.x)が欲しい場合は、Donations(ドネーション)が必要となっている。 ※最新な環境や新機能を使いたいなど、特別な事が無い限り「Xming Ver 6.9.0.31」でも問題無いと思うわれる。 Site : http://www.straightrunning.com/XmingNotes/ sourceforge Site : http://sourceforge.net/projects/xming freedesktop.org Site : http://freedeskt
X端末化計画 - Queens-Japan.com 【カスタムと改造バカ】
XDMCPとは@Wikipedia まずは接続してみます。 ターミナルより /Applications/Utilities/X11.app/Contents/MacOS/Xquartz -query ***.***.***.*** (***.***.***.***には、サーバに設定したIPアドレスを入力) これでログオン画面が表示されれば成功です。 さすがはNeXTの子孫。 超〜簡単ですね。 文字入力がおかしい時は ウチのUbuntu環境では、ログオン画面じゃ問題ないものの、gnomeやKDEが起動するとキーアサインがデタラメになってしまいました。 MacOS側の問題かと思ったんですが、サブ機のThinkPad X31に切り分け用としてインストールしたX-Deep/32 Ver.4(Trial版)でも同じ現象になったので、Ubuntu側の問題と判断。 ちなみに、VMWare F
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
IBM Developer
PostgreSQLウォッチ---目次：ITpro
@IT Linux Square「実用 Apache 2.0運用・管理術」
Linux Square全記事インデックス
しげログ