Linuxで3万（10万）プロセスを同時に起動させてみた
人間とウェブの未来（旧） 「ウェブの歴史は人類の歴史の繰り返し」という観点から色々勉強しています。2014年までの人間とウェブの未来の旧ブログです。 といっても、きちんとした検証をしたわけではないので、あくまで「こういう環境でこういう事をやるとこうなる」という参考程度のものと理解してい頂ければ幸いです。 Linux上でプロセスは同時に何個起動できるのか 数年前にC10K問題が流行りました。これは、簡単に言うと、万のオーダーでプロセスを立ち上げる事になると、現状のOSではそれを想定した設計になっていないためまともに動かなくなる、といった問題でした。 だったら、「10万プロセス位を同時に立ち上げてみて、どうなるか試してみようぜ！」と思い、会社のエンジニアと一緒に試してみました。検証環境は、メモリ48GでCPUはHyperThreading込で24コアです。そこで動いていたOSはDebianでL
Linuxエンジニアを目指して入社一年目にやって役にたったと思う事
人間とウェブの未来（旧） 「ウェブの歴史は人類の歴史の繰り返し」という観点から色々勉強しています。2014年までの人間とウェブの未来の旧ブログです。 自分がLinuxエンジニアになりたくて、入社一年目にやってよかった事をまとめておこうと思う。一年目にどれだけやるかが、勝負の別れめといっても過言ではない。それは技術を学ぶだけではない。いっぱいあるんだけど、最低限やって良かったなと思う項目を列挙する。 それがぼくには楽しかったからを読む Amazonとかで買う。出来れば原著がいいけど無理しなくて良い。 Just for Fun. Linuxがどうやってできたか、なぜそれをしようと思ったのかが分かり、今後自分がLinuxのエンジニアとしてどういう動機で仕事をしていきたいかを考えさせてくれる本。この本を読めば、自分が仕事でオープンソースを扱っていることに自信を持てると思う。 「なんでその仕事してる
吉岡弘隆＠ミラクル・リナックスは、ハッカーを目指す｜【Tech総研】
大学院を出て、1984年に日本DEC研究開発センターに入りました。ここは米国DEC（その後コンパックにより買収、現在はHP社）開発部門の100％子会社で、入社早々日本語COBOLの開発を担当しました。コンパイラには手を加えず、独自拡張などもせず、私を含めた3人で仕様どおりに実装を続けました。エディタでプログラムを修正し、コンパイルし、ビルドして、バグを取る、といったことの繰り返しです。入社前はもっとカッコイイ研究ができると思ったら勘違いで、結局は数百ページあるCOBOL仕様書を何度も何度も読みました（笑）。 当時はCOBOLもFORTRANもLispでさえも、プログラミング言語は「会議室」でつくるものでした。まつもとゆきひろさんのRubyのような「俺さま言語」などは考えつきもしなかったし、やろうとする発想すらありませんでした。ただ、この時期にプログラミング言語のイロハを覚えたことは、後々の
はてなグループの終了日を2020年1月31日(金)に決定しました - はてなの告知
はてなグループの終了日を2020年1月31日(金)に決定しました 以下のエントリの通り、今年末を目処にはてなグループを終了予定である旨をお知らせしておりました。 2019年末を目処に、はてなグループの提供を終了する予定です - はてなグループ日記 このたび、正式に終了日を決定いたしましたので、以下の通りご確認ください。 終了日: 2020年1月31日(金) エクスポート希望申請期限:2020年1月31日(金) 終了日以降は、はてなグループの閲覧および投稿は行えません。日記のエクスポートが必要な方は以下の記事にしたがって手続きをしてください。 はてなグループに投稿された日記データのエクスポートについて - はてなグループ日記 ご利用のみなさまにはご迷惑をおかけいたしますが、どうぞよろしくお願いいたします。 2020-06-25 追記 はてなグループ日記のエクスポートデータは2020年2月28
展開コマンドのオプションなんて覚えてられないぜ。 - 落書き、時々落学
そこで、ぼくは .zshrc に以下のようなことを追加してある。 ちなみに元ネタはArchlinuxのフォーラム。本来ならばそこへのリンクを貼るべきなんだけど、もう昔のことなんで、どこから頂いてきたかはもう忘却です。 extract () { if [ -f $1 ] ; then case $1 in *.tar.bz2) tar xvjf $1 ;; *.tar.gz) tar xvzf $1 ;; *.tar.xz) tar xvJf $1 ;; *.bz2) bunzip2 $1 ;; *.rar) unrar x $1 ;; *.gz) gunzip $1 ;; *.tar) tar xvf $1 ;; *.tbz2) tar xvjf $1 ;; *.tgz) tar xvzf $1 ;; *.zip) unzip $1 ;; *.Z) uncompress $1 ;; *.7
tailコマンドって-c使うと超速い - As a Futurist...
Twitter でつぶやいたら意外と知られて無かったので記事にしておきます。 Linux とかで巨大なログファイルとかを扱うときに、head や tail というコマンドで先頭から何行とか 末尾から何行を見たい時があると思います。 例えばアクセスログで末尾から 10000000 行目辺りをみたいとかいうときに $ tail -n 10000000 access_log | head とかするとかなり遅いと思います。これはログの後ろの方から読み込みながら 行数を計算しているからで、10000000 行分数えないとどこから表示すればいいのかわからないので なかなか結果が返ってこなくてヤキモキしてしまいます。 こんなときに、-cというオプションを使うと超高速で結果が返ってきます。-cというのは -c, --bytes=N output the last N bytes とある様に、ファイルの末尾
2010年11月18日 "ミラクルパッチ"にLinusも大喜び！Linuxカーネルを高速化させた233行のコード | gihyo.jp
Linux Daily Topics 2010年11月18日"ミラクルパッチ"にLinusも大喜び！Linuxカーネルを高速化させた233行のコード Linus Torvalds氏という人は、少なくともメールの中では、かなりはっきりと感情を表に出す。誰かor何かに対して怒っているときは相手を名指しで批判（というより非難）し、逆にうれしいときはあふれる喜びを隠そうとしない。今回紹介するのは後者のほう。「I'm also very happy」「it is a _huge_ improvement」「Good job.」など、喜びと称賛の表現がたくさん書かれているメールだ。 Linus氏を歓喜させたのは、カーネル開発に携わるMike Galbraith氏が書いた233行のカーネルスケジューリングパッチ。このパッチを適用すると、デスクトップ環境においてパフォーマンスが著しく向上するという。
Linuxの体感速度大幅改善パッチ(SCHED_AUTOGROUP)を試してみた - このブログはURLが変更になりました
2010/11/23追記：Gentooはsys-kernel/gentoo-sources-2.6.36-r2でこのパッチが取り込まれました。Gentoo仕事早すぎる。 2010/11/27追記:十分にテストされていないため、gentoo-sources-2.6.36-r2はpackage.maskされ、2.6.36-r3で取り除かれました。 2010年11月18日 "ミラクルパッチ"にLinusも大喜び！Linuxカーネルを高速化させた233行のコード｜gihyo.jp … 技術評論社 カーネル開発に携わるMike Galbraith氏が書いた233行のカーネルスケジューリングパッチ。このパッチを適用すると，デスクトップ環境においてパフォーマンスが著しく向上するという。実際にこのパッチを当ててみた様子がYouTubeにアップされているが，パッチを当てる前と後では描画速度がまったく違うこと
恵比寿にあるLinux会社の熱いギークたちに会ってきた話。
先日、友人の紹介でRed Hat社に勤めるエンジニアの方たちと食事をした。Red Hat社のエンジニアの方々とはあんまり交流が無かったのだが、やはりLinuxに、そしてフリーソフトウェアに魂を燃やす漢たちの発想は一味違う！！興味深い話を聴き、とても良い刺激を受けることができたので皆さんにも紹介したいと思う。 再会参加者の面子を事前に聞いていなかったので驚いたのだが、なんとそこには古い知り合いの顔があった。KVM徹底入門の共著者である森若和雄氏である。彼とは大学院時代、同じ研究室の先輩後輩の間柄（自分の方が一年先輩）なのだが、当時自分は落ちこぼれであり、森若氏は自分より遥かに高いスキルを持ち合わせていたのをよく覚えている。卒業後お互い別々の道を歩いた末に、同じフリーソフトウェア支持者として再会出来たのは大変喜ばしい。 学生時代の森若氏の口ぐせは「Perl最高！Perlがあれば何でもできる！ヒ
いま改めて問う、Linuxコミュニティの魅力 － ＠IT
2010/09/24 9月27日から29日にかけて、「LinuxCon Japan」カンファレンスが開催される。2009年10月に開催された、リーナス・トーバルス氏も参加しての「Kernel Summit」および「Japan Linux Symposium」の成功を受けて行われるLinux開発者向けのカンファレンスだ。IBMのDan Frye氏によるキーノートをはじめ、3日間にわたってさまざまな角度からLinuxに関するセッションが行われる。 これを機に、改めてLinux開発の魅力とは何か、関係者が一堂に会して議論する意味とは何なのかを、それぞれの切り口でLinuxの開発に携わってきた国内の技術者たちに聞いた。 「交流」「不愉快な時間が減る」――開発の魅力 そもそも、Linuxカーネルおよびその周辺の開発に携わることの魅力とはいったい何だろうか。 日立製作所 システム開発研究所 Linux
Linux でシステムの起動時に 1 度だけ処理を実行する。 - D.
システムの起動時に一度だけ実行する処理は、普通は /etc/rc.local に書くわけだが 、1 ファイルにすべてを書いてしまうと管理が煩雑になったりする。まとまった処理ごとにファイルを分けておいたほうが管理が楽だ。 そこで /etc/rc.local の内容を以下の通りにする。 #!/bin/sh if [ -d /etc/rc.local.d ]; then for i in /etc/rc.local.d/*; do if [ -r $i ]; then . $i fi done unset i fi exit 0 /etc/rc.local.d というディレクトリを用意する。ここにシェルスクリプトの書かれたテキストファイルを入れておくと上のスクリプトによってすべて実行されることになる。ファイル名は何でも良い。 イー・モバイル端末が本体に接続されていれば接続する例 (ネットブック等
Linuxコマンドでテキストデータを自在に操る - じっくりコトコト煮込んだみかん
Linuxでテキストデータを扱うときに、コマンドをパイプで繋げるだけでいろいろな処理ができて面白いのですが、綺麗に整理されていない気がするのでまとめてみます。ここでは、cat, paste, join, grep, head, tail, cut, awk, sed, tr, sort, uniq, wc を取り上げます。 ファイルを縦に結合 ファイルを縦に結合します。 コマンド 説明 cat file1 file2 ... file1, file2, ... を縦に結合 cat file | ... としてファイルの中身をパイプに流すのにもよく使います。 ファイルを横に結合 ファイルを横に結合します。あまり使わない？*1 コマンド 説明 paste file1 file2 .. file1, file2, ... を横に結合 join file1 file2 file1 と file2
Linux技術者認定機関 LPI-Japan [エルピーアイジャパン]｜公式サイト
私たちは「オープンテクノロジー」の発展と創造が素晴らしい未来を作ってくれると信じています。 技術を自分の内に閉じ込めず、広く世の中に開放すること、より優れた技術、新しい技術をみんなでつくる。 90年代後半に生まれ、イノベーションを加速させた「オープンソース」という考え方をもっと広く根付かせるために。 技術者たちのスキルを証明する認定試験を開発・運用し、技術習得に役立つ技術教材をつくり、技術の価値を世の中に伝える。 LPI-Japanは、技術を学び、発展させる人々のパートナーです。 詳しく知る LPI-JapanはIT エンジニアの キャリア形成を 支援しています。 国内外の様々な団体とともに、学習支援、雇用支援を通じてこれからの社会で活躍できるITエンジニアの育成に力を注いでいます。 action1認定の価値を知る 私たちはオープンテクノロジー技術者認定機関として様々な認定試験を提供してい
![Linux技術者認定機関 LPI-Japan [エルピーアイジャパン]｜公式サイト](https://cdn-ak-scissors.b.st-hatena.com/image/square/bdb985b2913fe38769334947330103ecda8b9e96/height=288;version=1;width=512/https%3A%2F%2Flpi.or.jp%2Fassets%2Fimg%2Fcommon%2Fogp.jpg)
【 文字列を抜き出す「cut」 】
文字列の中から所定の位置にある文字列のみを抜き出したい場合はcutを利用する。cutの主なオプションは表の通り。 オプション 意味
さらに分かっておきたいトランジスタの種類 − ＠IT MONOist
組み込みソフトウェア／ハードウェア開発における技術力の向上、改善・最適化などを幅広く支援する“組み込み開発エキスパート”のための情報フォーラム
Linuxにおける10億ファイル問題 | スラド
ファイルシステムが大容量に対応し、ハードディスクの容量あたりの価格が安くなるにともない、1つのパーティションに入るファイル数も増えている。しかし、Red HatのRic Wheeler氏によると、100万ファイルではしっかりと動くファイルシステムも、10億ファイルともなるとスケーラビリティの問題が発生してくるとのこと。 詳細はLinuxcon 2010での発表スライド（PDF）及びLWNの記事を参照。 大量のデータを扱いたければデータベースを使うか、複数のパーティションに分割して使え、という話があると思われるが、発表スライドでは「ファイルシステムは無料で多くの人々にとって親しみやすく分かりやすい、また複数のパーティションに分割するとユーザーによるデータの管理が面倒になり、またディスクシークの最適化が難しくなる」とし、大容量のファイルシステムの必要性が説かれている。 現在でもRAIDやJBO
Linux等でのログのモニタリングで簡単にアラートをキャッチするワンライナー - 元RX-7乗りの適当な日々
昔、『「ping -a」で音が鳴る！』なエントリでも書いたのですが、何らかをリアルタイムにチェック/監視したい時に、視覚だけではなくアラート音が一緒に出ると、モニタリングしやすいものです。 というわけで、Linuxなんかで、とあるログファイルの出力から、ある文字列が検出された際に、ビープ音を鳴らすワンライナーは以下。 $ tail -f ログファイル | sed -e 's/\(対象文字列\)/\1^G/'上記を実行中に、指定ログファイルに対象文字列が出力されるとビープ(Beep)音が鳴るはず。 「^G」(0x07)の部分が、ASCIIのBELキャラクタのリテラルです。 $ echo -n "^G"などとしてやれば、ベル(ビープ音)が鳴りますよね。 ちなみに、「^G」は、[Ctrl-V] ⇒ [Ctrl-G] の順に入力してやればOK。emacsだと[Ctrl-Q] ⇒ [Ctrl-G]か
UNIX/Linuxも楽しむ Java開発者になるための学習法
UNIX/Linuxも楽しむ Java開発者になるための学習法：小山博史のJavaを楽しむ（14）（1/3 ページ） Javaを使ったプログラミングでは、OSをそれほど意識する必要はないといわれています。学習時やサンプルプログラム作成時は確かにそうなのですが、プロフェッショナルな開発者となると、やはりOSをまったく意識しないでプログラミングをするわけにはいきません。そのため、開発者の皆さんは、きっと「UNIX系OSも使いこなせるようになりたい」と思っていることでしょう。 今回は、そんな“UNIX系OSを使える開発者”を目指す読者が一歩先へ進むためのアドバイスを筆者なりにしたいと思います。 なぜUNIX系OSの知識が必要なのか？ AndroidもLinux 最近の若手技術者と話をしていると、意外とUNIX系OSの知識がないことに驚かされます。いまの時代、パソコンといえばWindowsマシンで
さらに分かっておきたいトランジスタの種類 − ＠IT MONOist
組み込みソフトウェア／ハードウェア開発における技術力の向上、改善・最適化などを幅広く支援する“組み込み開発エキスパート”のための情報フォーラム
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ミラクル・リナックス - MIRACLE LINUX CORPORATION