xargs を使ってカジュアルに並列処理 - たごもりすメモ
シェルからでも重い処理というのはちょこちょこあって、例えば超デカいログファイルを移動して圧縮したりというお仕事は世界中のあらゆる場所で毎日行われていたりする。コマンドラインからでも大量の圧縮済みログファイルをいっぺんに展開したい、とか。 あるディレクトリ以下に存在するたくさんのファイルを(圧縮済みのものを除いて)全部 bzip2 圧縮したい！と思ったら、とりあえずさくっと次のようにコマンドラインで叩けばいい。 $ find . -not -name '*.bz2' | xargs bzip2 これで、まあそんなに問題なく効率的にbzip2圧縮ができる。だがしかし。 最近は複数コアのCPUが普通に転がってるし、あまつさえHyperThreadingが有効になってたりしてOSから見える論理CPU数がハンパない。普通に8とかある。その一方で複数コアを使用してくれるコマンドというのはあんまりなくて
ウノウラボ Unoh Labs: 快適なsshクライアント生活
はじめまして、HIROKIです。 大規模コンテンツの開発に携わっていると数多くのサーバにsshでログインすることになります。その手間を軽減するために $HOME/.ssh/config を設定してみます。 sshコマンドを簡略化 例えば dev01.labs.unoh.netというサーバにsshでログインするのであれば、 $ ssh -i ~/.ssh/id_rsa.unoh hiroki@dev01.labs.unoh.net という感じのコマンドでログインしているかと思います。 これを $ ssh dev01 でログインできるように設定してみましょう。 Host dev01 User hiroki HostName dev01.labs.unoh.net IdentityFile ~/.ssh/id_rsa.unoh 秘密鍵を複数使いわけている人はIdentityFileを指定すると便
CentOS 5 の初期設定 | Carpe Diem
CentOS 5.x をインストールしたあと、いろいろと初期設定を行っています。今は、サーバ用途の場合 kickstart の %post セクションでいろいろな初期設定をまとめて行って自動化しています。kickstart は、別の機会に公開するとして、今回は %post セクションで行っている初期設定を順番に紹介します。紹介する順序は、順不同です。 NOZEROCONF を設定する 余計なネットワーク経路を作らないために、/etc/sysconfig/network に次の設定を追加します。APIPA という仕組みを使う場合は必要です。 NOZEROCONF=yes IPv6 を無効にする IPv6 を使っていないので、/etc/modprobe.conf に次の設定を追加します。 alias net-pf-10 off alias ipv6 off ifdown-eth にバッチをあて
実行中のアプリケーションを外から観察するコマンド。 - こせきの技術日記
strace システムコールをトレース。カーネルと何を話しているか。 strace -p PID でプロセスにアタッチ。実行中のプロセスをトレース。 straceを使ったデバッグ - SourceForge.JP Magazine : オープンソースの話題満載 Linuxカーネルの作り出す世界 − ＠IT自分戦略研究所 - ふつうのLinuxプログラミング 青木峰郎 システムコールとライブラリ関数 − ＠IT自分戦略研究所 システムコール・ライブラリルーチン - UNIX の部屋 ltrace 共有ライブラリの呼び出しをトレース。*.soと何を話しているか。 ltrace -p PID でプロセスにアタッチ。実行中のプロセスをトレース。 ltrace で共有ライブラリの関数呼び出しをトレースする - bkブログ 404 - エラー: 404 - Linux JF ƒ‰ƒCƒuƒ‰ƒŠ‚ÌŠ
Windows上で動くUbuntu·Portable Ubuntu for Windows MOONGIFT
Windowsを開発に利用されている方で、VMWareなどを使ってLinux環境を構築し、そこでスクリプトのテストを行っている方は多い。VMWare Playerは優秀な仮想実行環境だが、都度立ち上げるのがちょっと面倒に感じている人も多いのではないだろうか。 Linux向けの各種アプリケーションがWindows上で使える もう少し手軽に使えるLinux環境としてcoLinuxがある。そしてPortable Ubuntu for Windowsを使えばもっと便利になる。 今回紹介するオープンソース・ソフトウェアはPortable Ubuntu for Windows、解凍するだけで使えるUbuntuだ。 Portable Ubuntu for Windowsはその名の通り、Windows上で動作する。coLinuxを基盤にしてUbuntuがインストールされている。そのためX環境も予め入ってお
1秒で10万行を処理するフリーの超高速なログ解析ソフト「Visitors」 - GIGAZINE
GIGAZINEのログは膨大な量になっているため、以前まで使っていた「ApacheLogViewer」では毎日のアクセス解析に時間がかかりすぎるのと、今後のさらなるログの増大を考えると不安を覚えたので、いろいろと試してみた結果、「Visitors」というアクセスログ解析ソフトが超高速でよかったです。 大体、10万行を1秒～2秒ほどで処理してくれます。しかもサイトへの人の流れをフローチャート化することも可能。ユニークユーザーベースで解析してくれるだけでなく、検索ボットは除外したり、特定のリファラをブラックリストにしてノーカウントすることも可能。非常にすばらしいです。 また、Linux版だけでなく、Windows版も一応提供されています。やろうと思えばWindowsで解析することも可能です。 というわけで、実際にインストールして実運用するまでの手順をメモしておきます。参考になれば幸い。 ■解析
crontabの設定を初心者でも簡単に出来るヘルパーツール:phpspot開発日誌
Nippon Kaisho システムツール [ CRONTAB設定ヘルパー ] UNIXのCRONTABの設定ヘルパーです。crontabの設定を初心者でも簡単に出来るヘルパーツール。 ウェブ上の選択ボックスを選択し、「作成実行」ボタンで簡単にcrontabの設定を作成できます。 最初は、crontab の設定というととっつきにくかったり、アレはどう書くんだっけ？のど忘れした際に役立ちます。 関連エントリ .htaccess ファイルを簡単作成「.htaccess Editor」 オンラインで動く、色, CSS, robots.txt, .htaccess等のジェネレーター色々 .htaccessやmod_rewriteの設定をかたっぱしから設定済みのファイル 特定のIPアドレスからのアクセスを禁止する.htaccessジェネレーター
mixi Engineers’ Blog » Linux Programming、epollの話
お久しぶりです、初めての日本の夏に圧倒されているトールマエサカです。 今日はLinuxにおけるネットワークプログラミング関連のネタです。分散データベースサーバの開発過程で最近よくLinuxのepollというイベントハンドリング機能を使っています。これがまた優秀な機能なので紹介します。 このContextでいうイベントハンドラーはサーバがクライエントのリクエストを処理するためのメカニズムです。イベントの感知と通知は大雑把にいうと以下の三つの処理で構成されています： 一つもしくは複数のディスクリプタを監視 ディスクリプタの準備が整うまでハチ公のごとくひたすら待ち続ける 準備が整ったディスクリプタの通知 アプリケーションでの実装は一昔までselect(2)、もしくはpoll(2)というシステムコールで行われていました。二つとも役目は同じですがselect(2)の場合、kernelをいじらない限り
MasteringMemcached
2008-09-27 17:53:11 +0900 (78d); rev 114 この文書について 分散型メモリオブジェクトキャッシングシステムである memcached について、その仕組み、導入やプログラミング言語からの利用方法までを紹介します。 この文章は常に書きかけです。誤字脱字や間違いの指摘や情報提供などを歓迎します。 この文書の対象者 memcached の導入を検討しているひと memcached をプログラミング言語から利用する方法を知りたいひと memcached の仕組みや仕様を知りたいひと 環境について 以下のような環境を想定しています。 UNIX および UNIX ライク OS x86 アーキテクチャ memcached は x86 以外のアーキテクチャでも動作しますが、この文書では x86 前提として記述します。 memcached とは memcached は
DSAS開発者の部屋:パソコン1台ではじめるロードバランサ体験
昨日書いたの通り，記事を寄稿したWEB+DB PRESS Vol.37が，今日発売になりました．それを記念して(?)，記事の内容が簡単に実験できるパッケージを公開します． これは，VMWareを使って，だれでも直ぐにロードバランサの実験を始められるパッケージになっています．何台もマシンを集めたり，Linux をインストールする必要は一切ありません．無償配布されているVMWare Playerがあれば，いつでもどこでも実験ができます． もちろん，このブログで去年の夏に公開した4つのエントリ こんなに簡単！ Linuxでロードバランサ (1) こんなに簡単！ Linuxでロードバランサ (2) こんなに簡単！ Linuxでロードバランサ (3) 高トラフィックに対応できるLinuxロードバランサを目指して〜LVSをNATからDSRへ の実験もできます． ダウンロードはこちらからどうぞ(75MB
サーバにDoS耐性を付ける - stanaka's blog
ウェブサービスでは、アクセスが集中して、サイトが落ちる、というのは、よくある話です。純粋に人気が出てアクセス集中するなら、サーバ管理側の責任と言われても、しかたないと思います。しかし、botやF5アタックによる突発的な集中アクセスで、落ちてしまう、というのは、運営側としても、あまり納得がいくものではありません。 そのような突発的なアクセスに対応するために、大量のアクセスをしてくるクライアントを検出し、優先度を落すか、アクセス禁止にする方法などがあります。 というわけで、Apacheモジュールでそれを検出するためのmod_dosdetectorを開発しました。(ちなみにコア部分の開発期間は、Apacheモジュールって、どう書くんだっけ、という状態から、3日でした。) mod_dosdetectorは、Apacheモジュールとして動作し、クライアントのIPアドレスごとにアクセス頻度を測定し、設
shell のちょっとしたテクニック - odz buffer
後輩が cat README | tr ' ' '\n' | sort | uniq -c | sort -nr | head てなテクニックを見て、びっくりしたみたいな話をしていたのだが、こういうパイプラインを利用するテクニックを学んでいないのは色々損な気がする。 ていうか、サーバで丸一日以上かかるような処理を実行するのもしょっちゅうなのに、GNU screen も nohup も知らないってのはいろいろ支障があるような気もするのだが、だれも教えないものかなぁ。 ということで、bash or zsh のちょっとしたテクニックとか*1。リダイレクトとかパイプラインは略。 連続実行 単純に連続実行。 % foo; barfoo が正常終了したときだけ bar を実行 % foo && barfoo が正常終了しなかったときだけ bar を実行 % foo || bar&&、||は本来は論理演
サーバ診断:vmstat - Y-110's Wiki
最新文章 2018-12-26 14:57▪ 宝山一楼盘千余业主收到高额交房通知书 2018-12-26 14:57▪ 书写大国经济的崭新篇章 2018-12-26 14:57▪ 杨浦3条公交线路拟调整居民以后出行方便了 2018-12-26 14:57▪ 上海交通行为样板路段区域12月测评榜公布 2018-12-26 14:57▪ 涉及30万人，葛洲坝集团宜昌基地六大类职能分离移交宜昌 2018-12-26 14:57▪ 金正恩送韩国的丰山犬生6个宝宝青瓦台晒近照 2018-12-26 14:57▪ 新华网启动视频化战略加速构建内容新生态战略支点 2018-12-26 14:57▪ 又一煤矿被重罚今年云南已查处53起煤矿严重违法违规典型... 2018-12-26 14:57▪ 央行：四季度88.8%的居民认为收入增加或基本不变 2018-12-26 14:57▪ 回首2018重温习近平
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
cron(crontab)で月末で指定する方法 - ぎじゅっやさん