いっつも忘れるC++ ファイル入出力関数を図にしてみた - Qiita
継承関係 継承関係については、 https://www.ntu.edu.sg/home/ehchua/programming/cpp/cp10_IO.html 真ん中らへんの図 がわかりやすそうです。 ファイル入出力関数のダイアグラム さて、C++でファイルの入出力を扱うに当たって、C言語のscanf系やprintf系は結構落とし穴があるので、C++のifstreamとか〇〇streamとかを使いたいのですが、いつも使い方を忘れてしまいます(私だけではないはず)。そこで、普段使いに便利なダイアグラムをつくってみました！： ※2については、https://www.jpcert.or.jp/sc-rules/c-int06-c.html あたりも参考にしてください。あ、strtol関数はstdlib.hをincludeです。 サンプル #include <string> #include <i
nfsiostat で NFS の I/O レイテンシや IOPS を調べる - ablog
NFS で iostat の await と svctm のような情報を取れるツールが欲しいと思っていたら nfsiostat という素敵なツールを見つけた。await にあたるのが avg exe (ms)、svctm にあたるのが avg RTT (ms) だと思う。 iostat の await と svctm の意味は Linux の iostat の出力結果を銀行のATMに例えて説明してみる - ablog 参照。 書式 $ nfsstat <interval> 実行例 ops/s: 秒間の read または write リクエストの発行回数 kB/s: 1秒間に read または write されたサイズ（KB） kB/op: 1回の read または write の秒間の平均サイズ（KB） avg RTT (ms): カーネルが RPC リクエストを発行してから応答までの時間
Linux I/O のお話 write 編 - naoyaのはてなダイアリー
write はページに dirty フラグを立てるだけなので決してユーザープロセスを待たせない って、本当にそうなんでしょうか？（否定しているわけではなく、純粋な疑問です。） と質問をもらったので、最近追ったことをここでまとめます。かなり長文です、すいません。また、まだまだ不勉強なので間違っているところもあるかもしれません。ツッコミ大歓迎です。 まず、オライリーのカーネル本の 15章 ページキャッシュ 15.3 汚れたページのディスクへの書き込み から引用。 ご存知のように、カーネルは、ブロック型デバイスのデータを含むページをページキャッシュに蓄えています。プロセスが何らかのデータを更新した場合は、必ず対応するページに汚れている印をつけます。すなわち、PG_dirty フラグを設定します。 UNIX システムでは、汚れたページのブロック型デバイスへの書き込みを遅延することができます。この方
Big Sky :: Re: golangでIOへのテストを行う
golangでIOへのテストを行う | おおたの物置 まとめ fmt.Print等にちゃんと出力されるかテストしたい 結論としては直接は無理 io.Writerを利用するように変えることで簡単にテスト可能 渡されたio.Writerに書き込むようにする ... http://ota42y.com/blog/2015/04/01/go-io-test/ golang には Example Test という機能があり、テスト関数名に Example のプレフィックスを付ける事で実行結果として出力される標準出力のテストを行う事が出来ます。 期待する結果はこの関数の中にコメントとして書くことが出来ます。 go-pipeline/example_test.go at master - mattn/go-pipeline-· GitHub https://github.com/mattn/go-pip
これからの「Java I/O」の話をしようwww (13) ： 続々・ファイル、ディレクトリの属性 - 倭マン's BLOG
Java nio の API を見ていくシリーズ（目次）。 今回はファイル、ディレクトリの属性の続きの続き。 どんどんマニアックになっていく気がする（笑） 未来の自分のためのメモ書きみたいなものダス。 この記事の最後では、ファイルの作成と同時に属性を指定する方法を見ます。 特に読み書きの権限などはファイルを作成してから設定してるとセキュリティ的な空白の時間ができるので、ファイル作成時に属性を設定できるようにしておくべきでしょう。 この記事の内容 ユーザー定義属性 ACL 属性 属性とファイル・ディレクトリ作成 ユーザー定義属性使用している OS （というかファイルシステム）が UserDefinedFileAttributeView をサポートしていれば、任意のユーザー定義属性が使用できます。 ユーザー定義属性が使用できるかどうかは FileSystem オブジェクトもしくは FileSt
System.in, System.out, System.errを再初期化する - argius note
またかなり間が空いてしまいましてすみません。 今さら感あふれるネタですが、知らなかったのでメモ。 結論を先に書きます。 下記ページで知りました。 java - Resetting Standard output Stream - Stack Overflow http://stackoverflow.com/questions/5339499/resetting-standard-output-stream System.in, System.out, System.errの再初期化は、下記のようにします。 FileDescriptorを使うのがポイントです。 // import java.io.*; System.setIn(new BufferedInputStream(new FileInputStream(FileDescriptor.in))); System.setOut(ne
トラフィック量をリアルタイムに監視する「iftop」 - エーエイチレフ linuxサーバー技術情報
トラフィック量の監視はMRTG等を使って定期的な監視＆グラフ化はよく聞きますが、 現在のトラフィック量を監視するようなツールはなかなかありません。 で、ちょっと調べて使ってみたところ、iftopというツールがとても使いやすかったのでご紹介。 インストール iftopは多分デフォルトでは入っていないのでインストールします。 apt-get install iftop 多分RedHat系も同じようにyum install iftopで入るんじゃないかな、と思います。 起動 iftop - i eth0 一番簡単な起動方法は上記のような形です。 -iの後に監視するイーサネットの名前を記述します。 起動するとこんな感じです。 一番上の段はメジャーのようになっており、現在、最高で62.5Kbとなってます。 一番上の行の192.169.100.117が白く塗りつぶされていますが、これ
プロセスのランキュー待ち時間とI/O待ち時間を調べる - ablog
cat file|awk では実行時間 < CPU時間となっていますが、cat が I/O wait していないとは限りません。実行時間は単純に終了時間 - 開始時間で算出しますが、CPU時間はプロセスのCPU時間を getrusage システムコールで取得します。catのプロセスと awk のプロセスが並列実行されている期間があるため、実行時間 < CPU時間となっています。例えば、CPUバウンドな2プロセスがほぼ完全に並列実行されると、実行時間 * 2 ≒ CPU時間 となったりします。 （中略） 大きなテキストファイルをawkで処理するときにcatで投げ込むと速い理由 - ablog と書きましたが、プロセスの ランキュー待ち時間は /proc//sched の2列目(sched_info.run_delay) I/O待ち時間は /proc//schedstat の se.stati
Javaで1行ずつテキストデータを読み込むイディオムの変遷 - argius note
テキストデータを読み込む場合、言語にかかわらず1行ずつ読み込んで処理します。ここではこのイディオムを"read-lines"と呼ぶことにします。 スクリプト言語なんかだと大抵、最初からforeachで済んでしまっていたりしますが、初期のJavaではちょっと面倒な手順が必要でした。 新しいバージョンではだいぶ簡単簡潔に書けるようになりましたが、今度はたくさんありすぎて、どれがなんなのかが良くわからなくなっています（大袈裟）。 そこで今回は、"read-lines"の変遷についてまとめてみました。 最近Javaを始めた方がバージョンが古い時に書かれたソースコードを読むときに役に立つ...かも知れません。 目次 基本 BufferedReader （Java1.1～） Scannerと拡張for文 （Java5～） java.nio.file.Filesとtry-with-resources（J
En Yüksek Kur Paykasa Bozdurma
IBM TechXchange Community Join the Community and get 30% off the TechXchange Conference. Join / Log in Where is my content? If you’re looking for developerWorks content or a Support forum and ended up here, don't panic! You are in the right place. The content you're looking for. This page will help you find the content you are looking for, get answers to your questions, and find a new community to
システムのI/Oに必要な時間の大部分はカーネルにあった | POSTD
Key-Valueストアからロックサーバに至る、あらゆる実行中のサイトのシステムパフォーマンスは、今なお、主に レイテンシ や スループット で測定されています。 サーバのI/Oパフォーマンスでは、これが重要となります。高性能なI/Oサブシステムなくしては、これらのメトリクスのどちらにおいても良いパフォーマンスを行うことはできません。 奇妙なことに、この10年間で一般的なハードウェアのI/Oパフォーマンスは驚くほど向上しているにも関わらず、システムのI/Oパフォーマンスはあまり大きな変化を遂げていません。そこで、私はこのような疑問を持ちました。 「一般的なスタンダードなOSでは、I/Oパフォーマンスの向上は期待できないのだろうか？」 一般的なLinuxハードウェア上のシンプルなI/O これは、Simon Peterらによって発表された 最新のOSDIレポート の裏に隠された重大な課題です。
iostat はどのように %util を算出しているか(3) - ablog
iostat はどのように %util を算出しているか - ablog http://d.hatena.ne.jp/yohei-a/20130925/1380070554 と続いた iostat から Linux Kernel のブロックレイヤーへの旅は Etsukata blog: iostat -x の出力を Linux Kernel ソースコードから理解する のおかげでほぼ終わりを迎えました。 part_round_stats() では、その延長で、全てのリクエストがキューにいた時間の積算値を表すtime_in_queue と、デバイスがIOリクエストを発行していた時間を表す io_ticks を更新しています。io_ticksには前回のリクエスト完了から、今回のリクエスト完了までを加算し、time_in_queueにはそれに実行中のリクエスト数を掛けたものを加算しているのがわかり
非同期入出力の残念な現状
asynchronous disk I/O | libtorrent blog Libtorrent experience - the poor state of async disk IO | Hacker News libtorrentの作者が、ディスクI/Oをパフォーマンスを向上させるために非同期I/Oを試した結果、どの環境でも残念なので、ブロックI/Oをスレッドプールで行う擬似非同期I/Oで実装したとブログを書いている。その問題について、Hacker Newsでも議論されている。 非同期I/Oは、話を聞くとたのもしい機能に思える。読み書きが完了するまでブロックせずに、完了したらOSが通知するという仕組みだ。 問題は、その実装がどの環境でも貧弱だという事だ。 環境というのは、主にOS側のことだ。多くのモダンなOSは非同期I/Oを提供している。特に著名なのがみっつある。 Linux A
JavaでノンブロッキングIOを使ったネットワークアプリを学ぶのに最適なNetty 3.5系のGetting Startedを日本語訳しました - sifue's blog
Nettyと言えばJavaのノンブロッキングIOのAPIであるNIOをラップしたフレームワークとして、TwitterのFinagleなどで分散ネットワークアプリケーションシステムで使わていて高速で実績のあるライブラリとして有名ですが、ノンブロッキングIOでイベント駆動のサーバークライアントのネットワークアプリケーションを知るのに非常に良い題材ですので、素人翻訳ですがその日本語訳を公開することにしました。 ちなみにNettyがどれぐらいパフォーマンスに優れているのかというと、Herokuの仮想インスタンスを利用した実験の結果が参考になります。Scala(Finagle)がNettyの実装を利用したものになりますが、秒間6000リクエスト時の1dyno(APサーバー)の応答が秒間4000レスポンスで、C(Accept)、Java(Jetty)、Java(Tomcat)、Js(Node)、Pyt
ストリーム
Javaにおけるデータ入出力の考え方 オブジェクト指向言語であるJavaでは、データの入出力にもクラスを使います。 データの流れをクラスInputStream/OutputStreamのインスタンスとして扱い、 それらに対して読み書きをするのにクラスInputStreamReader/OutputStreamWriterを用います。 上記の図は入力を行う際の概念図ですが、実際にデータ入力を行う際には、 対象とするデータの種類やデータのある場所によって、行うべき処理内容が異なってきます。 例えば、ローカルのディスクに存在するファイルからの読み込みと、 ネットワークを介したサーバの応答の受信では、明らかに処理が異なります。 Javaではオブジェクト指向の特徴を生かし、 入力データ全般に成り立つ性質をクラスInputStreamに持たせ、 それを継承する形で様々な種類の入力データに対応するよう、
Effective Java 読書会 14 日目 「シリアライズ！シリアライズ！」 - IT戦記
お前をシリアルにしてやろうか！ this photo is licensed by Horia Varlan はじめに いよいよ最後のページになりました！！！ はりきっていきましょう！！ 今回の範囲 279 ページ 〜 305 ページ 前回はこちら Effective Java 読書会 13 日目 「Java の例外めんどくさい」 - IT戦記 シリアライズって何？ シリアライズとは、構造を持ったデータ（Java では、オブジェクトやプリミティブ）を、バイト列にすること。 たとえば、 オブジェクトをファイルに保存したい！ 通信先にこのオブジェクトを送りたい！ （具体的には、）ゲームデータをセーブしたい！（とか） などなどの用途で使えます。 Java のシリアライズ ObjectOutputStream にオブジェクトを書き込むと、 ObjectOutputStream がラップしているオブ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
10分で分かるLinuxブロックレイヤ
IDEA * IDEA
ベンチマークツールfioを使用した、Linux環境下でのディスクのベンチマーク方法 | インフラエンジニアのつぶやき
http://1978th.net/tech/promenade.cgi?id=31