そのファイル、安全に更新できていますか？（アトミックなファイル操作：前編）
ハートビーツ最年長エンジニアの滝澤です。以前、弊社CTOにシニアおっさんエンジニアから若手エンジニアに向けて何か書いてくれと言われた気がしたので、アトミック（atomic）なファイル操作について3編に分けて紹介します。この内容は弊社の社内勉強会で話した内容をまとめ直したものです。 そのファイル、安全に更新できていますか？（アトミックなファイル操作：前編）←今回 そのファイル、安全に作成できていますか？（アトミックなファイル操作：中編） そのファイル、安全にロックできていますか？（アトミックなファイル操作：後編） 今回は「みなさん、安全にファイルの更新ができていますか？」ということについて、考えてみましょう。 あなたはあるサーバ上のファイルの更新を依頼され、もらったファイルをサーバ上でコピーして上書きしました。しばらくして、データに異常が発生したので調べて欲しいと言われました。さて、何が起き
データ集計コマンドを極めてシステム処理と業務速度を爆速化するお話 - Y's note
Index データ集計コマンド 爆速で検索したいぜ！ lookを使う LC_ALL=Cを設定する データのランダムサンプリングがしたいぜ！ sedを使う awkを使う sortの--random-sortを使う Script言語を使う shufを使う ランダムサンプリング速度比較 合計と平均値を集計したいぜ！ 列データ取得 重複行のカウント 合計値出力 平均値出力 複数ファイルのデータ結合がしたいぜ！ 共通項目での結合 同じ行数での結合 まとめ データ集計コマンド joinコマンドが便利過ぎて生きるのが辛い - Yuta.Kikuchiの日記 lookコマンドによる二分探索が速すぎて見えない - Yuta.Kikuchiの日記 今日はデータ集計を行う上で絶対に覚えておいた方が良いコマンドと知識を紹介したいと思います。これを身につければシステム処理と業務効率化に大きく繋がると思います。この記
Freak: bonnie++をRPM化してインストール
202401 « 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 » 202403 OSはCentOS 5.5 x86_64。 --------------------------------------- 1.03eの場合 --------------------------------------- # tar zxf bonnie++-1.03e.tgz # cd bonnie++-1.03e # vi bonnie.h.in #define MinTime (0.5) の部分を #define MinTime (0.01) に変更する。 # vi bonnie.h #define MinTime (0.5) の部分を #define MinTime (0.01) に変更する。
Linux Tips - bonnie++の使用方法
ハードディスクベンチマークツール「bonnie++」を用いて、LinuxサーバのディスクIO性能を測定する際の手順メモです。bonnie++のバージョンは「1.03」を、コンパイラはgccを使用しています。 bonnie++を使用することで、シーケンシャルアクセス（read／write）、ランダムアクセス等の性能測定を一度に行うことができます。 なお、bonnie++ 1.03では、近年供給されているような高性能なハードディスクやSSDの性能測定用に使用することが想定されておらず、測定に掛かった時間が短過ぎる場合には、測定結果の表示が「+++++」「+++」となってしまう項目があります。このため、ソースを少し修正してからmakeします。 インストールインストール手順（ソースから）ソースのダウンロード次のURLより、bonnie++ 1.03のソースをダウンロードする。 （2012年7月時点
IOzoneによるファイルシステムのパフォーマンス測定 | OSDN Magazine
IOzone は、ファイルの大きさの違いによってレコードの入出力速度がどう変化するかを調べることでファイルシステムのパフォーマンスを測定するベンチマークプログラムである。IOzoneを使用すると、Bonnie++で得られる読み取り、書き込み、再書き込みの測定値よりも詳細な情報を得ることができる。IOzoneはファイルの入出力性能が期待したほど引き出されていないような領域を見つけるのに向いている。 IOzoneの入手方法だが、openSUSE 10.3ではワンクリックインストールで提供され、Ubuntu Hardyではmultiverseリポジトリにて提供される。また、Fedora 9では標準リポジトリに収録されている。 IOzoneを簡単に起動するには、-aオプションを付けて完全自動モードにするとよい。その際、-gオプションでファイルサイズの上限をシステムのメインメモリサイズの2倍に設定す
ディスクIO性能(2) - BonnieとIOZoneの比較
ディスクのスループットを測定する場合、メモリバッファの効果を考慮する必要がある。 そのため色々なベンチマークプログラムが開発されている。例えば、Bonnie, Bonnie++, iozone, Iometer 等々。 最初は何も考えずBonnie++やIOZoneで測定したが、測定結果がいまいち合点が行かない。 なので、ここ２週間ばかり追って見たところ、結論らしきものが出せた。 Bonnie++ について Debian etch/sarge 共に 1.03a が含まれており、これが安定版である。 但し、Bonnie++ 2.0 を目指して開発はされているが2003年頃から更新が無く停滞している。 単体HDD、RAID0、RAID10、RAID5で測定したが、結果が毎回大きく異なる場合があり、怪しい。Unix 系ではwrite は遅延書き込みなので、fsyncを発行しないと書き込み完了まで
bonnie++ で I/O 性能を測定 （Linux/Unix での IO ベンチマークソフト）
今まで Linux 上でハードディスクのパフォーマンスを計測する方法として hdparm を使ってきましたが、もう少しいろいろなケース別にパフォーマンスを計測したいなぁーとか NFS のパフォーマンスを計測したいなぁーとか思って、ベンチマークツールがないものかと調べてみたら bonnie++ ってのを知りました。 Bonnie++ now at 1.03e (last version before 2.0)! Bonnie++ is a benchmark suite that is aimed at performing a number of simple tests of hard drive and file system performance. Then you can decide which test is important and decide how to compa
(新人向け) Unixオペレーションの注意点 - Magical Diary
主に新人向けとして、Unixサーバで作業をする際の注意点を書いておく。 ここに書いてある内容は絶対的なものではないし、会社や現場ごとにルールがあるので、適宜ルールに合わせて実践すれば良い。 ログを取れ 何をやったか、何をやらなかったか、というエビデンスのためにログは必ず残しておく。SSHクライアントによっては毎回自動的にログ取得する設定が可能なので、設定しておくと良いだろう。 作業後に問題が発生した場合に作業内容を確認するためにも使うため、必ずログは取得しておくこと。 (追記) 当たり前だが、コマンドとその出力をペアで取ることに意味がある。 set -x (set verbose) しろ ログを取得しても、コマンドラインを編集した際には以下のように非常に見づらいものとなってしまう。(がんばれば解析することは出来るが…) ESC[0mESC[27mESC[24mESC[JESC[1myasu
突然のTwitter砲にもなんとか耐えたさくらVPSに感謝する - As a Futurist...
なんか、2/6 の夜に「修士論文の代わりに退学願を提出してきた」が Twitter でばずったらしく、Yahoo 砲よろしく突如としてアクセスが集中しました。下の方にリソースモニタリングのグラフを貼りつけてますが、今までがほぼ 0 に見えてしまうくらいに来てたのでびっくりでした。 まぁ色々コメントつけて頂いたりしてますが、もう2 年も前なんでこのエントリについて今更僕から突っ込むことは無くて、あのエントリはあのエントリとして見て頂ければと思います。ここでは今回そんな突然のアクセス集中にも見事耐えてくれたさくら VPS に感謝しつつ、アクセス集中の状況を鯖管的立場から分析してみましょう。 ちなみに、以前エントリに書いていますがサーバの構成としてはさくら VPS1 台で、CentOS+Apache+mod_fastcgi+PHP-FPM+MySQL5.5(InnoDB)で WordPress
はてなグループの終了日を2020年1月31日(金)に決定しました - はてなの告知
はてなグループの終了日を2020年1月31日(金)に決定しました 以下のエントリの通り、今年末を目処にはてなグループを終了予定である旨をお知らせしておりました。 2019年末を目処に、はてなグループの提供を終了する予定です - はてなグループ日記 このたび、正式に終了日を決定いたしましたので、以下の通りご確認ください。 終了日: 2020年1月31日(金) エクスポート希望申請期限:2020年1月31日(金) 終了日以降は、はてなグループの閲覧および投稿は行えません。日記のエクスポートが必要な方は以下の記事にしたがって手続きをしてください。 はてなグループに投稿された日記データのエクスポートについて - はてなグループ日記 ご利用のみなさまにはご迷惑をおかけいたしますが、どうぞよろしくお願いいたします。 2020-06-25 追記 はてなグループ日記のエクスポートデータは2020年2月28
tcpstat: netstatより細かくネットワーク統計量を見るツール — ありえるえりあ
Recent entries Apache2.4のリリース予定は来年(2011年)初め(あくまで予定) inoue 2010-12-23 Herokuの発音 inoue 2010-12-20 雑誌記事「ソフトウェア・テストPRESS Vol.9」の原稿公開 inoue 2010-12-18 IPA未踏のニュース inoue 2010-12-15 労基法とチキンゲーム inoue 2010-12-06 フロントエンドエンジニア inoue 2010-12-03 ASCII.technologies誌にMapReduceの記事を書きました inoue 2010-11-25 技術評論社パーフェクトシリーズ絶賛発売中 inoue 2010-11-24 雑誌連載「Emacsのトラノマキ」の原稿(part8)公開 inoue 2010-11-22 RESTの当惑 inoue 2010-11-22 「プ
Omicron bash
bash Bourne Agein SHell 本家 BASH with Debugger and Improved Debug Support and Error Handling わざわざ覚える必要はないと思うけど，知ってると便利な bash スクリプト． bash 例解 (IBM dW) 404 Not Foundになっちゃったな... 第1回 (2000-07-14) Bourneシェルの生まれ変わり(bash)による初歩のプログラミング 第2回 (2000-07-14) bashによる初歩のプログラミングの続編 第3回 (2000-07-14) ebuild システムの探訪 ebuild は GentooLinux の一部らしい． bash 超プログラム術 杉浦康仁(三木淑生)氏による文書． BASH Programming - Introduction HOW-TO
CodeZine（コードジン）
UNIX基礎講座 UNIXとは | UNIXの基本構造 | ファイルシステム | ファイルシステムの構造 | 絶対パスと相対パス | マウント | シェル機能 | ヒストリ機能 | ワイルドカード | リダイレクション | パイプ | エイリアス | 環境設定 | シェル変数と環境変数 | カスタマイズ | コマンドリファレンスの形式とmanコマンド | リファレンスの形式 | マニュアルページの活用 ファイルとディレクトリの操作 cd | chgrp | chmod | chown | cp | dd | df | du | ln | ls | mkdir | mv | pwd | rm | rmdir | split | find | od | touch テキスト処理 cat | comm | cut | diff | diff3 | echo | expand | fold | g
藤原暁宏 – 藤原研究室
連絡先 勤務先住所: 〒820-8502 福岡県飯塚市川津680-4 九州工業大学 大学院情報工学研究院 電子情報工学研究系 E-mail:
UNIX Memo
UNIXメモ このメモは、Red Hat系のLinuxディストリビューションをインストールして適当に使った経緯の中で作成されている。したがって、不正確であったり、陳腐であったり、他のUNIX系システムやLinuxディストリビューションでは通用しない情報も多いと思われる。コマンドの用法や用例は主に使うもののみを掲載している。なお、この文書の閲覧、複製、改編、転載に関して一切の条件を設けない。 このメモは、端末入力、シェル、ユーザアカウント、システム情報、テキスト処理、ファイル操作、プロセス管理、デバイス管理、アーカイブ、ネットワーク、環境設定、シェルスクリプト、X Window System、正規表現、Viエディタ、Emacsエディタ、C言語プログラミング、CVS、Apache、ディレクトリ階層、私的環境設定、その他のTIPSの項に分かれている。 TOP 端末入力 UNIXの利用は通常、端末
I love CUI
はじめに Linux (Vine Linux) を使って、CUI の便利さに気がつきました。文字情報を扱うときの CUI のきびきびした反応は魅力的です。しかし、Linux の膨大なツールの数や EMACS などのコマンドの数を見ると、何をどの程度習得すれば良いのか戸惑います。このホームページでは、Linux を知的生産の道具として活用するためには、最低限どのツールをどの程度使いこなせば良いかを考えました。また、併せて、lynx, w3m, emacs, namazu などを組み合わせて作る便利な短いスクリプトを紹介します。 このホームページに掲載したスクリプトは、利用、改造、再配布自由です。著作権は著者が保有しますが、利用、再配布等に際し著作権を明記する必要はありません。また、これらのスクリプトは無保証です。これらのスクリプトによって発生したいかなる障害にも著者は責任を負いません。 知的
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://infra-engineer.com/linux/bonnie%E3%82%92%E4%BD%BF%E7%94%A8%E3%81%97%E3%81%A6%E3%83%87%E3%82%A3%E3%82%B9%E3%82%AF%E6%80%A7%E8%83%BD%E3%83%99%E3%83%B3%E3%83%81%E3%83%9E%E3%83%BC%E3%82%AF/
rush
IBM LAMP システムを調整する、第 1 回: LAMP アーキテクチャー・・ - Japan