最速の疎ベクトルはどれだ - Preferred Networks Research & Development
海野です。 自然言語処理などで機械学習を行おうとすると、非常に疎なベクトル表現を使いたくなります。疎、というのはほとんどの要素が0である、という意味です。前々から疎ベクトルライブラリのパフォーマンスに関して気になっていたので、幾つか調べてみました。 Jubatus Workshopでも話したとおり、機械学習を適用しようとすると、普通は対象のデータをベクトル表現に落とします。特に言語データの場合は、それぞれの単語や文字などを特徴次元とするため、非常に疎なベクトルとなってしまいます。純粋な配列（C++で言えばstd::vector）を使ってしまうと、大量にメモリを食ってしまうため疎ベクトル専用の表現を使うのが普通です。 今日は様々な疎ベクトルライブラリのパフォーマンス比較を行おうと思います。比較したライブラリは以下のとおり。真の意味で、疎ベクトルのライブラリは、Eigenとublasだけで、残
bonnie++を使ったベンチマーク結果の見方 - yoshifumi1975's diary
ベンチマーク実行方法 目的のディレクトリに移動して、コマンドを実行。 # cd /mnt/fs01 # bonnie++ -u 0:0 bonie++ の結果の見方 http://www.textuality.com/bonnie/intro.html の一部を勝手に翻訳。 1. Sequential Output 1.1 Per-Character ファイルは putc() を使って書かれる。書き込みループはたいていのI-cacheに収まるくらい十分に小さい。CPUのオーバーヘッドはstdioのコードとOSのファイル アロケーション 程度。 1.2 Block The file is created using write(2). The CPU overhead should be just the OS file space allocation. ファイルは、write(2) を使
DeNA松信さんの「MySQL環境におけるFusion-io検証結果とDeNAにおける活用価値」セッションメモ - 元RX-7乗りの適当な日々
弊社の一部のサービスでも絶賛活躍中のFusion-io社のioDrive。 Fusion-io ioDriveとFusion-io ioDrive Duoではどちらも、最小容量のモデルはSLC型、そのほかはMLC型を使っているが、Fusion ioDriveの読み込み速度は735〜770MB/s、書き込み速度は510〜750MB/sだ。Fusion ioDrive Duoに至っては、読み込み速度は1.0〜1.5GB/s、書き込み速度は一律1.5GB/sという数値をたたき出す。 ＠IT Special PR：Fusion-ioのクールな技術を使いこなせ！ 今日はデルさん主催の下記セミナーにて、このFusion-ioに関するDELL社の検証結果紹介や、DeNA松信さんによるMySQL環境でのFusion-io検証結果およびDeNAでの利用に関するお話が聞けるとのことだったので、途中からの参加で
『bonnie』
bonnie ディスクIOテスト用ツール １．セットアップ方法 bonnie++-1.03e.tgz などのソースをDLする 展開してから./configureを実行 ディスクスピードが速いと結果が+++++など計測できない場合があるため、 以下のようにMinTimeを変更 変更ファイル名： bonnie.h 変更箇所： #define MinTime (0.5) -> #define MinTime (0.001) など適宜変更 makeを実行 作成されたバイナリで以下のように実行 ./bonnie++ -d /target-partition -u root -b ※-bオプションを使わないと結果をリアルに取得できない ２．bonnieの見方 ■連続書き込み(Sequential Output) Per Char関数putc()を使用したキャラクタベースの書き込みテスト Block関数
Linuxチューニング 第1部第1回 ファイル・アクセスを高速化：ITpro
ファイルの入出力性能の改善は，システム全体の処理速度向上に大きく貢献する。高速なプロセッサを搭載する現在のコンピュータでは，ファイルのアクセス速度がシステム・パフォーマンスのボトルネックになっているためである。不要なディスク・アクセスの削減とアクセス速度そのものの向上が，チューニングの要となる。 アクセス時刻の記録を省略しファイル読み込みを高速化 ファイルにアクセスしたときには，最終アクセス時刻が属性情報として記録される。この情報を記録しないように設定することで，ファイルの読み込み速度を向上できる。最終アクセス時刻の記録を止めるには，ファイル・システムのマウント時に，noatimeオプションを指定する。ベンチマークでは，読み込み速度が2倍強に改善できた。 atimeは無駄 LinuxなどのUNIX系OSでは，statやfstat，lstatというシステム・コールを使って，ファイルの属性情報
Linux Tips - HDDベンチマーク手順＋性能測定結果一覧（hdparm,dd,bonnie++）
Linux Tips – HDDベンチマーク手順＋性能測定結果一覧（hdparm,dd,bonnie++） システムのパフォーマンスが思うように上がらない場合、ハードディスクのIO性能がボトルネックになっているケースが多く見られます。 システムの環境構築が完了した後には、ハードディスクのIO性能を必ず測定しておきましょう。ここで紹介するHDDベンチマークを実行して、測定結果の妥当性を評価することによって、ほとんどのケースでディスクIO性能に起因する性能問題を未然に検知することが可能です。 ハードディスクのIO性能を左右する要素システムのパフォーマンスが思うように上がらない場合、ハードディスクのIO性能がボトルネックになっているケースが多く見られます。 以下に主要な項目を挙げるように、ハードディスクのIO性能は様々なシステム構成要素やその設定によって左右されます。システムのインフラ基盤で性能
HDDの内周と外周のアクセス速度 - ヲレサイト
この間システムの大事そうなファイルがHDDの内周に書き込まれてしまってとんでもない目に遭ったので、 実際内周と外周でどんくらいアクセス速度が違うのよ？ と測ってみました。 まずはHDDのパーティションをこんな風に切ってみます。 Dドライブが外周、Fドライブが内周っすね。 ンでこいつらのCrystalDiskMarkの結果。 外周のDドライブ そして内周のFドライブ まあ結構違うものですＯｏ。(￣。￣ )ｙ- ～ 内周は外周に比べて倍とまではいきませんが1.5倍くらい遅くなるみたいですね。 最近は大容量のHDDが安くなったので安易に必要以上の容量のを買ってしまうのですが、気をつけて使わないと無駄に遅くしてしまうこともあるみたいです。 無駄なファイルもかなり整理できたので、ボチボチちゃんとシステムドライブとして使えるSSDに走ろうかと思いますＯｏ。(￣。￣ )ｙ- ～
Linuxファイルシステムベンチマーク第2回 ext3,ext4,JFS,ReiserFS,XFS,NILFS2
Linuxファイルシステムベンチマーク第2回 ext3,ext4,JFS,ReiserFS,XFS,NILFS2 ext3ファイルシステムは、機能面・信頼性・性能面で非常にバランスの取れたファイルシステムであり、多数のディストリビューションで「標準のファイルシステム」として採用・サポートされてきました。現時点（2009年時点）では事実上、「Linux標準ファイルシステム」の地位を築いていると言っても過言ではありません。 しかしながら、Linux標準ファイルシステムのext3だけではなく、他ファイルシステムへの対応やサポートを売りにするディストリビューションも数多く登場しています。また、ext4やbtrfs等、次のLinux標準ファイルシステムと目されるファイルシステムも、現在、非常に活発に開発が進められています。このような状況の中、ext3から他のファイルシステムに乗り換える価値、他のファ
Linuxファイルシステムベンチマーク第1回 ext2,ext3,JFS,ReiserFS,XFS,NTFS
Linuxファイルシステムベンチマーク第1回 ext2,ext3,JFS,ReiserFS,XFS,NTFS ext3ファイルシステムは、機能面・信頼性・性能面で非常にバランスの取れたファイルシステムであり、多数のディストリビューションで「標準のファイルシステム」として採用・サポートされてきました。現時点（2009年時点）では事実上、「Linux標準ファイルシステム」の地位を築いていると言っても過言ではありません。 しかしながら、Linux標準ファイルシステムのext3だけではなく、他ファイルシステムへの対応やサポートを売りにするディストリビューションも数多く登場しています。また、ext4やbtrfs等、次のLinux標準ファイルシステムと目されるファイルシステムも、現在、非常に活発に開発が進められています。 このような状況の中、ext3から他のファイルシステムに乗り換える価値、他のファイ
Linux Tips - bonnie++の使用方法
ハードディスクベンチマークツール「bonnie++」を用いて、LinuxサーバのディスクIO性能を測定する際の手順メモです。bonnie++のバージョンは「1.03」を、コンパイラはgccを使用しています。 bonnie++を使用することで、シーケンシャルアクセス（read／write）、ランダムアクセス等の性能測定を一度に行うことができます。 なお、bonnie++ 1.03では、近年供給されているような高性能なハードディスクやSSDの性能測定用に使用することが想定されておらず、測定に掛かった時間が短過ぎる場合には、測定結果の表示が「+++++」「+++」となってしまう項目があります。このため、ソースを少し修正してからmakeします。 インストールインストール手順（ソースから）ソースのダウンロード次のURLより、bonnie++ 1.03のソースをダウンロードする。 （2012年7月時点
PostMark 超簡易マニュアル
という プロンプトが出るので, "show", "run", "quit" と打ち込む. 実行するとこんな感じ↓です. 赤フォント部がユーザの入力. 緑フォント部がベンチマーク設定の表示. 青フォント部が測定結果の表示. [sane@hostname ~/postmark]$ ./postmark PostMark v1.5 : 3/27/01 pm>show Current configuration is: The base number of files is 500 Transactions: 500 Files range between 500 bytes and 9.77 kilobytes in size Working directory: /home/sane/postmark Block sizes are: read=512 bytes, write=512 by
Bonnie++ now at 1.03e (last version before 2.0)!
Want to sponsor development of Bonnie++? If so see this link for details. The benchmark category of my blog has posts related to Bonnie++ and other benchamrk development work. It also includes information on Postal my mail host server benchmark. Version 1.04 will hopefully be the last release of Bonnie++ 1.x. I hope that now I can concentrate on version 2.0 which will have many new features. I kne
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
性能検証！速いのはどっち？
http://www.btopcshop.com/BtoPageInfo.php/cateType/9/evaluateCateId/0/pageId/213
こもりばんのLinux Tips
もりばんのLinuxシステム構築Tips