No-I/O dirty throttling [LWN.net]
This article brought to you by LWN subscribersSubscribers to LWN.net made this article — and everything that surrounds it — possible. If you appreciate our content, please buy a subscription and make the next set of articles possible. "Writeback" is the process of writing dirty pages back to persistent storage, allowing those pages to be reclaimed for other uses. Making writeback work properly has
Node.jsと非同期I/Oと混乱した私 - shutdown -r now
最近、Node.jsに興味があります。Node.jsを調べていると、I/O関係で、非同期I/O、ノンブロッキング、コールバック等、いろいろとキーワードがでてきて混乱してきます。 そこで、ブログに書いて整理しよう思います。間違いがあれば是非、指摘してください。 言葉の定義 ◇非同期呼び出し（Asynchronous Call）と同期呼び出し（Synchronous Call）の違い 同期呼び出し（Synchronous Call） 通常メソッドを呼び出すとメソッド内の処理が完了するまで、呼び出し元には戻ってこない。このようなメソッド呼び出しのこと。 非同期呼び出し（Asynchronous Call） メソッドを呼び出した瞬間に呼び出し元に処理が戻ってくるような呼び出しのこと。非同期で呼び出されたメソッドは、環境によって処理されるタイミングが変わる。 ◇マルチスレッド（multithread
Techie Stuff › Understanding the code inside Tornado, the asynchronous web server
My goal here is to have a walk through the lower layers of the Tornado asynchronous web server. I take a bottom-up approach, starting with the polling loop and going up to the application layer, pointing out the interesting things I see on my way. So if you plan on reading the source code of the Tornado web framework, or you are just curious to see how an asynchronous web server works, I would
Anticipatory I/Oスケジューラ その2 - Linuxカーネルメモ
Anticipatory I/Oスケジューラ の続き。 Elevatorとのインタフェース Elavatorから呼び出されるAnticipatory I/Oスケジューラのルーチン群はstruct elevator_type iosched_as に定義されている。 .elevator_merge_fn = as_merge 既存Requestの後にマージ(BackMerge)できる場合はELEVATOR_BACK_MERGEを返し、既存Requestの前にマージ(FrontMerge)できる場合は、ELEVATOR_FRONT_MERGEを返す。 FrontMergeの検索にはBIOの終端Sectorの次のSectorをKeyにRBTreeを検索してBIO→Requestが連続セクタになるRequestがないか探す。 - as_find_arq_rb() BackMergeの検索にはBIO
Iotop's homepage
Linux has always been able to show how much I/O was going on (the bi and bo columns of the vmstat 1 command). Iotop is a Python program with a top like UI used to show of behalf of which process is the I/O going on. It requires Python ≥ 2.7 and a Linux kernel ≥ 2.6.20 with the TASK_DELAY_ACCT CONFIG_TASKSTATS, TASK_IO_ACCOUNTING and CONFIG_VM_EVENT_COUNTERS options on.
bonnie++ で I/O 性能を測定 （Linux/Unix での IO ベンチマークソフト）
今まで Linux 上でハードディスクのパフォーマンスを計測する方法として hdparm を使ってきましたが、もう少しいろいろなケース別にパフォーマンスを計測したいなぁーとか NFS のパフォーマンスを計測したいなぁーとか思って、ベンチマークツールがないものかと調べてみたら bonnie++ ってのを知りました。 Bonnie++ now at 1.03e (last version before 2.0)! Bonnie++ is a benchmark suite that is aimed at performing a number of simple tests of hard drive and file system performance. Then you can decide which test is important and decide how to compa
Iometer project
Project [Team] [Get involved] [Donations] Software [Platforms] [Downloads] [Known Issues] [Screenshots] Resources [Documents] [Mailing Lists] [Links] As the Iometer User's Guide says, Iometer is an I/O subsystem measurement and characterization tool for single and clustered systems. It was originally developed by the Intel Corporation and announced at the Intel Developers Forum (IDF) on February 1
初期化パラメータ filesystemio_options の値によってI/Oに関するシステムコールがどのように変化するか - ablog
新久保浩二さんのブログの以下のエントリを読んで、自分なりに理解したことをまとめてみた。 小幡さん、yohei-aさん、wmo6hashさんなど、いろいろご意見がありましたが、一度、Oracleの非同期I/Oの実装はどうだったのか再確認が必要だと思いちょっと調べてみます。 手当たり次第やってもしょうがないので、以下の3つの観点で調査してみます。多分、何回かに分けて調査すると思うのですが、今回は初期化パラメータfilesystemio_options = [none|directio|asynch|setall]でどのようにI/Oに関するシステムコールが変化するか見てみます。 10046 trace name context forever: Unbreakable Enterprise Kernelのチューニングは非同期I/Oか? まとめ 初期化パラメータfilesystemio_optio
Disk IO Benchmarking in the Cloud
This is the second post in our series on cloud server performance benchmarking. The previous blog post, What is an ECU? CPU Benchmarking in the Cloud, focused strictly on CPU performance. In this post, we’ll look at disk IO performance. Choosing a cloud provider should be based on a many factors including performance, price, support, reliability/uptime, scalability, network performance and feature
Storageのパフォーマンスを調べられる、IOzone - UNIX的なアレ
ストリーミング配信やDBでの使用時など、システムのパフォーマンスを見た際にStorageがボトルネックになることは多々あります。 またStorageのパフォーマンスはHDDの回転数や、ファイルの配置方法、またファイルシステムなどにも依存するので、共通したベンチマークテストが必要になってきます。 自分で、ddコマンドを使って作成しても良いのですが今回は手軽にベンチマーク試験を行うことができる、IOzoneを紹介したいと思います。 IOzoneをダウンロードしてくる。 公式サイトは以下になります。 Iozone Filesystem Benchmark さてここから取得して、インストールをしましょう。 # wget http://www.iozone.org/src/current/iozone3_283.tar # tar xvf iozone3_283.tar # cd iozone3_2
IO::Handle::Util
My friend miyagawa has been championing PSGI and its reference implementation, Plack. This is something we've needed for a long time: a clean and simple way to respond to HTTP requests without the cruft of CGI and %ENV. The PSGI specification requires the body of the response to be represented using an object similar to IO::Handle. I've released IO::Handle::Util, a convenience package designed to
Fast, Simple I/O Concurrency For Ruby Ruby のための、高速・簡単な並行 Io: Rubykaigi2009 | PDF | Thread (Computing) | Scheduling (Computing)
NeverBlock is a fiber-based library that provides I/O concurrency facilities for Ruby programs. It allows developers to write normal blocking Ruby code while handling scheduling transparently. This improves performance over processes and threads by avoiding their overhead, while remaining faster than event loops. NeverBlock uses fibers and event loops under the hood to multiplex I/O operations eff
ネットワークプログラムのI/O戦略 - sdyuki-devel
図解求む。 以下「プロトコル処理」と「メッセージ処理」を分けて扱っているが、この差が顕著に出るのは全文検索エンジンや非同期ジョブサーバーなど、小さなメッセージで重い処理をするタイプ。ストリーム指向のプロトコルの場合は「プロトコル処理」を「ストリーム処理」に置き換えるといいかもしれない。 シングルスレッド･イベント駆動 コネクションN：スレッド１。epoll/kqueue/select を１つ使ってイベントループを作る。 マルチコアCPUでスケールしないので、サーバーでは今時このモデルは流行らない。 クライアントで非同期なメッセージングをやりたい場合はこのモデルを使える： サーバーにメッセージを送信 イベントハンドラを登録；このときイベントハンドラのポインタを取っておく イベントハンドラ->フラグ がONになるまでイベントループを回す イベントハンドラ->結果 を返す １コネクション１スレッ
How to set up Basic I/O Monitoring on Linux
This is my fourth week at Pythian and in Canada and I'm starting to get back to my normal life cycle --- my personal things are getting sorted and my working environment is set. Here at Pythian I'm in a team of four people together with Christo, Joe, and Virgil. (I should write another post about beginning at Pythian --- will do one day.) Yesterday, I asked Christo to show me how he monitors I/O o
iostat -x
My favorite Linux tool in DB work is ‘iostat -x’ (and I really really want to see whenever I’m doing any kind of performance analysis), yet I had to learn its limitations and properties. For example, I took 1s snapshot from a slightly overloaded 16-disk database box: avg-cpu: %user %nice %system %iowait %steal %idle 8.12 0.00 2.57 21.65 0.00 67.66 Device: rrqm/s wrqm/s r/s w/s rsec/s wsec/s \ sda
fioを用いたディスクIOのパフォーマンス測定 | OSDN Magazine
コンピュータを構成する主要コンポーネントの中でも、ストレージ系のパフォーマンスは他に比べてかなり劣るものとなっており、例えばハードディスクは容量的には順調に拡大し続けているものの、そのアクセス速度の発展ペースはRAMやCPUの速度向上に追いつけなくなっている。こうしたハードドライブの性能的限界がシステムパフォーマンスのボトルネックとなっている可能性を考えた場合、各自の所有するディスクやファイルシステムが発揮可能な速度および、ディスクのサブシステムに対してユーザが行える設定変更の影響を数値的に把握しておくことは重要な意味を帯びているはずである。またディスクのアクセス速度を向上させる手法の1つとしては、RAID-5のように複数のディスクを組み合わせて運用することが考えられる。 Linuxの場合、物理ディスクに対するアクセス速度の基本的な情報であれば、hdparmツールに-Tおよび-tオプション
アジアのペンギン: LinuxとLinuxで働く人たち(1)：お客様・上司に合わせたI/Oスケジューラーの選び方
こんばんは、某H氏が中国に出張に行ってしまったせいで、他グループからの問い合わせラッシュに揉まれ、少々疲れ気味のrkです。 タイトルと絡ますつもりはなかったのですが、LinuxやPCの世界にいると、これらのシステムが人間社会の方法理論に基づいて作られていることが嫌でも分かってくるものです。 仕事はぎりぎりまで遅らせるのがよいはずなのに(遅延書き込み)だとか、疑問に思うこともありますが...(人間の記憶は揮発します...) さて、皆さんの会社にはどんな上司がいますか？あるいはどんなお客様とのお付き合いがありますか？ rkも、さまざまな上司、さまざまなお客様とのお付き合いがありましたが、(未だ部下というものはありません) 人によりさまざまな仕事の仕方を要求してきます。 rkは一応エンジニアですので、内勤を中心としている業務形態です。それでも上司が変わるたびに私のスケジュールへの文句のつけ方が変
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
The Linux Kernel's VFS Layer
いい加減なblog (Kurosaka)
http://ekschi.com/technology/2009/08/24/vdbench-%E3%81%A7%E3%83%87%E3%82%A3%E3%82%B9%E3%82%AF%E3%81%AE%E6%80%A7%E8%83%BD%E3%82%92%E6%B8%AC%E5%AE%9A%E3%81%99%E3%82%8B/