Scalaでハードウェアを書く - wasabizの日記
2015-07-08 Scalaでハードウェアを書く Scalaでハードウェアを書けるChiselについて紹介します。 Chisel: Constructing Hardware in an Scala Embedded Language Chisel 2.2.0 Manual Chiselとは Chiselとはハードウェア記述用のためのライブラリでありScalaのDSLとして実装されています。最近巷で話題のRISC-Vというアーキテクチャがありますが、その実装であるRocket CoreがChiselで記述されています。Chiselは単なるScalaのライブラリなので、.scalaなファイルの中でimportして使います。そして回路の仕様をScalaで記述してコンパイルするとその仕様に従ったVerilogを出力する実行ファイルが出来ます。以下のコードはChiselのトップページから引用し
システムのI/Oに必要な時間の大部分はカーネルにあった | POSTD
Key-Valueストアからロックサーバに至る、あらゆる実行中のサイトのシステムパフォーマンスは、今なお、主に レイテンシ や スループット で測定されています。 サーバのI/Oパフォーマンスでは、これが重要となります。高性能なI/Oサブシステムなくしては、これらのメトリクスのどちらにおいても良いパフォーマンスを行うことはできません。 奇妙なことに、この10年間で一般的なハードウェアのI/Oパフォーマンスは驚くほど向上しているにも関わらず、システムのI/Oパフォーマンスはあまり大きな変化を遂げていません。そこで、私はこのような疑問を持ちました。 「一般的なスタンダードなOSでは、I/Oパフォーマンスの向上は期待できないのだろうか？」 一般的なLinuxハードウェア上のシンプルなI/O これは、Simon Peterらによって発表された 最新のOSDIレポート の裏に隠された重大な課題です。
IO負荷の高いプロセスを特定する方法 - weblog of key_amb
カーネルの I/O Accounting 機能を利用する Linuxでカーネルのバージョンが 2.6.20 以降であれば、IO Accounting機能を使うとよい。 これが有効になっていれば、プロセス毎のI/O統計情報が /proc/${pid}/io に出力される。 …が、全プロセスについて、これを自前で分析するのは疲れるので、pidstat や dstat のようなツールを使うのが楽。 参考 IO Accounting 機能で I/O 負荷の高いプロセスを特定 :: drk7jp dstatの万能感がハンパない - (ひ)メモ iodump 2.6.19 以前のカーネルではどうすればいいか。 例えば、iodump というツールがある。 これは以前 Maatkit に含まれていた Perl スクリプトである。 使い方としては、以下の通り。 # download iodump wget
javadoc.io が便利 - tokuhirom's blog
Maven central へのアップロードを無事に果たしたのはよいが､javadoc を見るにはどう>したらいいのか､､と思って探してみると､あった｡ありました｡javadoc.io http://javadoc.io は maven central にあがってるプロジェクトの javadoc を表示してくれるサイト｡ http://www.javadoc.io/doc/me.geso/mech2/ とかにアクセスすると､javadoc をいい感じに表示してくれる｡今後は README.md にはこの URL を記載することにしよう｡ (本来であれば search.maven.org でjavadocを表示してほしいのだが)
blktrace で block IO の分布を可視化する
はじめに blktrace は block IO の発行をトレースする有名なツールです。blktrace で集めたトレースデータを解析する btt には、ディスク上での block IO の分布を可視化する bno_plot.py というツールが付属しています。bno_plot.py を使うと、gnuplot を用いて下記のような図を生成できます。 図では、x軸が時間、y軸が Block Number、z軸が Block per IO になっています。これから、いつ頃に、どのセクタに、どのくらいのIOが発行されたかがわかります。 使い方 bno_plot.py の使い方をご説明します。 blktrace と gnuplot をインストールします。 # yum -y install blktrace gnuplot blktrace でトレースを収集します。 # blktrace -w 30
Faster and scalable fast-logger
Yesod is a Haskell web framework for productive development of type-safe, RESTful, high performance web applications. As you may know, Michael and I released a set of packages for WAI 2.0 including Warp 2.x and fast-logger 2.x. They are much faster than their old versions. I will explain how I re-designed fast-logger in this article and how I improved the performance of Warp in the next one. The c
Percona Server 5.5にて10秒間隔でDisk I/Oが重くなる問題 | 外道父の匠
久しぶりにDBAとしてお手伝いした時の汚いメモになります。 Percona Server5.5＋ioDriveのMySQLで、イベント時やピークタイムにアプリケーションからのDB利用が重くなる、ということで調査から対応方法まで考えてみました。 問題点の大雑把な特定 高トラフィック時に、RubyからMySQLの接続やクエリがちょこちょこ重くなり、レスポンス速度に影響が出る、とのこと。で調査開始。今回のPercona Serverのバージョンは 5.5.34 でした。 top -d1 で触診してみると、謎の10秒間隔でiowaitが5～10％に上がることを確認 5分平均のiowaitグラフを見ても、ピーク時は50～60％であることを確認。ioDriveでこれはイカン dstat で見ると、平時はwrite数MB/s～十数MB/sのところが、やはり10秒間隔でwrite 数百MBを確認。ピーク時
libaio の aio コンテキスト数を調べる - ablog
Linux の libaio による非同期I/Oでは aio コンテキスト数は /proc/sys/fs/aio-nr で確認でき、/proc/sys/fs/aio-max-nr に達すると、io_setup システムコールの戻り値に EAGAIN が返される。このことをI/Oベンチマークツール flexible IO tester (fio) で検証してみた。 おさらい Linux の非同期I/Oは2種類ある。 POSIX AIO aio_read(), aio_write() ライブラリ関数がカレントプロセスの子スレッドを作る。 その子スレッドが同期な read()、write() システムコールを呼出す。 子スレッドが発行した同期I/O操作を待たずに aio_read(), aio_write() ライブラリ関数は終了する。 カーネルレベルで実現する非同期I/Oに比べて遅い。 lib
はてなブログ | 無料ブログを作成しよう
日記_2024.8.29 鞍馬と貴船 29日は鞍馬と貴船に行ってきました。こんな天気でバイクは無理、でも引きこもるのも嫌なので前々から行きたかった鞍馬と貴船に行くことにしました。ただ、いつ大雨が降っても全くおかしくないので天気がヤバそうなら帰ることにします。普通に日帰りできる距離ですから…
ファイルディスクリプタについて（7） ～シグナル駆動I/Oの紹介
ファイルディスクリプタは、プログラムの外部との入出力を行う為の抽象的なインタフェースです。Unix/Linux におけるファイルディスクリプタは、一般的なファイルだけではなく、デバイスやソケットやパイプも対象としております。当レポートは、ファイルディスクリ プタにまつわる色んな機能と管理方法等を提示したいと思っております。 はじめに 前回は、各種多重I/Oの紹介や性能値を測定し、傾向を紹介しました。今回は、ディスクリプタの入出力イベントで発生するシグナルイベントを補足することでデータを取得する入出力モデルについて説明していきたいと思います。 連載概要 第1回：ディスクリプタの概要 第2回：イベント用ディスクリプタ「eventfd」の特徴 第3回：タイマー用ディスクリプタ「timerfd」の特徴 第4回：シグナル用ディスクリプタ「signalfd」の特徴 第5回：多重I/O「Multiple
Rubyの並列処理とグローバルインタプリタロックの関係 | SONICMOOV LAB
hottyです。 ソニックムーブ Advent Calendar 2013 12/11(水)の記事になります。 今回はRubyの並列処理について書こうと思います。 この記事には過ちがあると指摘されました(さぁどこでしょうか)。詳しくは追記を！ Rubyの処理系は1.8まではユーザレベルで行うグリーンスレッドでしたが、 1.9からはMRIにYARVという処理系が組み込まれ、 カーネルがスレッドの管理を行うネイティブスレッドになりました。 では、早速ですがThreadクラスで複数のスレッドを作って並列処理を行ってみましょう。 [sourcecode lang="ruby"] list = ["A", "B", "C", "D"] io = File.open("result.log", &quo
Big Sky :: Golang のオフィシャルが提供するインタフェースまとめ
golang が提供するインタフェースの中で代表的な物の使い方をまとめてみる。 io.Reader type Reader interface { Read(p []byte) (n int, err error) } ご存じ io.Reader。このシグネチャの Read を実装しておけば golang のありとあらゆる入力機能に対して自分のコードを提供する事が出来る。 例えば永遠に「おっぱい」と言い続ける Reader だと以下の様な実装になる。 package main import ( "io" "os" ) var text = []rune("おっぱい") type OppaiReader struct { n int } func (r *OppaiReader) Read(p []byte) (int, error) { in := len(p) nw := 0 for i
The upper.io/db.v1 ORM for Go
This project is kept for historical purposes, if you’re new here you may want to check out upper.io/db.v2 instead. db.v1 is deprecated and no new features will be added, only security issues will be patched, we recommend you to migrate from db.v1 to db.v2. The upper.io/db.v1 package for Go provides a common interface for interacting with different data sources using adapters that wrap mature datab
ファイル入出力の基本 (IO モデル) を勉強する - フリーフォーム フリークアウト
移転しました http://please-sleep.cou929.nu/20121103.html
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Simple non-blocking server
bwin·必赢(中国)唯一官方网站
http://www.thomas-krenn.com/en/oss/linux-io-stack-diagram/linux-io-stack-diagram_v1.0.png
Aio
Charming Python: Functional programming in Python, Part 3
#8158: Replace IO manager's IntMap with a mutable hash table · Issues · Glasgow Haskell Compiler / GHC · GitLab
