NVMe SSDのベンチマークをとってみた (約70万IOPS/1台) - 元RX-7乗りの適当な日々
手元にNVMe SSDがあったので、自分でベンチマークを取ってみたログ。 NVMeってのは、ストレージデバイスを接続する際の規格で、従来でいうSATAインターフェースの仲間みたいなもの。NVMeの詳細は以下のリンク先に記載があるので読んでいただきたい。 NVMeは、SCSIやSATA（Serial ATA）と同じく、ストレージを接続するための規格だ。パイプラインやランダムアクセスなど、メモリーベースのストレージであるSSDの特徴を活用できる。また、SATAやAHCIの登場から現在までの間に進化した、データのレイテンシー（遅延時間）短縮のための手法も反映している。 具体的な改良点としては、4KBの転送に必要なメッセージが2つではなく1つで済む点や、コマンドを処理するキューが1つではなく複数になっているという点がある。「複数」というのは、実に6万5536個である。これにより、多数のディスクI/
"set -e": 実行コマンドが0以外の終了コードの場合、シェルスクリプトを終了する - 元RX-7乗りの適当な日々
「シェルスクリプトの実行過程でエラーが発生した場合に処理を止めたい」・・・それをすごくシンプル(簡単)に実現したい場合に使えます。 例えば、以下のようなシェルスクリプトを書いた場合、、、 #!/bin/sh mkdir /tmp/hoge/fuga touch /tmp/hoge/fuga/test.txt 実行結果は以下のようになります。 $ ./test.sh mkdir: ディレクトリ `/tmp/hoge/fuga' を作成できません: そのようなファイルやディレクトリはありません touch: `/tmp/hoge/fuga/test.txt'にtouchできませんでした: そのようなファイルやディレクトリはありません/tmp/hogeディレクトリが存在しないので、/tmp/hoge/fugaのmkdirでこけます。まぁ普通ですよね。。。 が、何も考えずに書くと、↑のように、その
Sensu Serverをインストールする手順メモ - 元RX-7乗りの適当な日々
ゴールデンウィークに突入したタイミングで色々忘れてしまいそうなので、ここにSensu Serverの作り方をメモっておく。 ちなみに、Sensuは最近ナウなヤングにバカうけのモニタリングツール。インストールした環境は、CentOS 6.5 (Linux version 2.6.32-431.11.2.el6.x86_64)。 ちなみに、Sensu関連のインストールについてはChefやPuppetの使用が、推奨されてるっぽいので、今回はChefのCookbookをありがたく利用させていただいた。(このエントリではchef-soloを使って環境構築している。) SensuのChef Cookbookは以下のGitHubリポジトリで公開されている。 https://github.com/sensu/sensu-chef sensu-chefの取得 # yum install -y git gcc
Redis(2.8系)の基本オペレーションとかSentinelの挙動とかの色々メモ - 元RX-7乗りの適当な日々
最近必要に迫られて、ようやくRedisをインストールして触ってみました。(Redis童貞からの脱却) 色々と、基本部分ではあるけど、せっかく実際に触りながら勉強したので、このエントリにメモしておこうと思います。 尚、使ってみたRedisのバージョンは、stableの最新版である2.8.7です。(OSは、LinuxのCentOS 6.5) ちなみに、このエントリに書いていないような、Redisの基本的なアレコレについては、WEB+DB Press Vol.73のRedis特集(2.6向けではありますが)にほとんど書いてあるので読むべし。 WEB+DB PRESS Vol.73 作者: 設樂洋爾,白土慧,はまちや2,大和田純,松田明,後藤大輔,ひろせまさあき,小林篤,近藤宇智朗,まかまか般若波羅蜜,Mr. O,川添貴生,重国和宏,柳澤建太郎,奥野幹也,佐藤鉄平,後藤秀宣,mala,中島聡,堤智
LinuxのTCP SYNの再送間隔の初期値が3秒から1秒に変更されていた - 元RX-7乗りの適当な日々
ということに、(今更？)気付いたお話です。 HAを組んだ際のVIPの切り替えテストをやっているときに、高負荷時とかは切り替えに7秒ぴったりかかるケースとかがあって、7秒って何の数字だろうと疑問を持ちました。 OSは、CentOS 6.4(2.6.32-358.23.2.el6.x86_64)です。 TCP SYNの再送間隔が、1...2...4...秒になっている で、tcpdumpを眺めていると以下のようなシーケンスです。 11:50:35.689301 IP client-host.8957 > server-host.http: Flags [S], seq 1616681830, win 14600, options [mss 1460,sackOK,TS val 889880946 ecr 0,nop,wscale 7], length 0 11:50:36.688503 IP
Linuxサーバがディスク容量不足になった！何か消さねば！ってなった時にどう対処するか - 元RX-7乗りの適当な日々
とりとめもなく書いてみる。主にルーキー向けです。 サーバの運用とかやっていると、不定期ではあるが、たまにタイトルのようなディスク容量が逼迫する話題に直面します。 まぁ、それが起こるのは一旦良いとして、みんなこういう時、どうやって調べているのだろう？ とりあえず、僕がどうやってるか書いてみます。 何はともあれ現状確認 みんな大好き"df"コマンドです。細かい説明は省きますが、各パーティション・ファイルシステムごとにディスクの使用状況を確認。 # df -h Filesystem サイズ 使用 残り 使用% マウント位置 /dev/sda3 130G 88G 36G 72% / /dev/sda1 494M 23M 447M 5% /boot tmpfs 12G 0 12G 0% /dev/shm正確とは言いませんが、だいたいどのパーティションにどのくらい容量が空いているかが確認できます。 ど
「AWS Summit Tokyo 2013」 1日目の講演メモ #awssummit - 元RX-7乗りの適当な日々
今日は午後から、表題のカンファレンスに行ってきました。 AWS Summit Tokyo 2013 久しぶりに行くAWS系のビッグカンファレンス。AWSの中の方(ソリューションアーキテクト)が話してくれる「上級者向け」と題されるテクノロジーセッション3つに参加して、メモ書きをとったのでここに残しておきます。 (個人的には、3つ目の大谷さんの話が面白かったです。) ハイブリッド構成を支えるAWSテクノロジー AWS荒木さん プリンシパルソリューションアーキテクト @ar1 なぜハイブリッド環境なのか 既存のアセットを最大限に活かして、AWSのメリットを享受する 開発での利用パターン(dev,stgで使っている) データをどう持ち運ぶか ディザスタリカバリでの利用パターン データをどうやって同期するか 複数のシステムがハイブリッドでやりとり 監視・制御を複数プラットフォームで システム間連携を
Chef 11 での client/server/knife のセットアップ手順(+α) - 元RX-7乗りの適当な日々
遅れながら、Chefの新しい11系のバージョンを触ってみました。 つまづいた途中経過を含めて、セットアップのログや動きで気付いた事を簡単に残しておきます。 尚、今回使ってみた実行環境は、CentOSの6系です(Linux)。 結論から申し上げますと、Chefの新しいバージョンは、サーバのセットアップが物凄く楽でした。 旧来のバージョンでもUbuntuはそこそこ楽でしたが、CentOSの面倒くささと言ったら、んもう。 インストールパッケージの入手先 最近は、下記のChef本家となるOpscodeのサイトから、client/serverともインストーラ(各OSでのパッケージ)をダウンロードできるようになっています。 Chef Downloads Clientのインストール 上記サイトからパッケージをダウンロードしてインストールしてもよいのですが、Linuxであれば curl -L https:
複数のChef-serverで同一のvalidation.pemを利用させたいとき - 元RX-7乗りの適当な日々
運用設計・ルール的な是非は一旦おいておいて、複数のChef Serverでvalidation.pem(chef-validatorの鍵)を共通化させたいときに、どうやったかというメモ。ちなみに、バージョン10系での話です。 イメージは、既に1台のChef-serverを運用していて、もう1台新しいChef-serverを足したいんだけど、nodeとなるサーバの運用フローを変えたくないので(面倒くさいので)、validation.pemは共通で使いたいなー、というケース。(これはユースケースによってメリット・デメリットがあります) 僕が探した感じ、APIではその口が用意されていなかった(というか、あるように見えてeditしてみたけど反映されなかった)ので、結論からいうとバックエンドのCouchDBにアクセスして書き換えた感じです。 説明はここまででいいような気もしますが、一応自分のために手
Apache(DSO有効)でmod_sslを追加したときに躓いたアレコレ - 元RX-7乗りの適当な日々
最近の定番パターンですが、若手があれこれ苦労していたので、一緒になってハマってみたログです。 タイトル通りですが、DSO(Dynamic Shared Object)サポートが有効になっているApacheに、後からmod_sslを追加しようとしたのですが、どうも apxs の実行で失敗して悩んでいるとの事。 ちなみに、環境はCentOS 6.2に、Apache 2.2.23。 どれどれ、と見てみると、、、 error: #error "Unrecognized SSL Toolkit!" # cd (Apacheのソースディレクトリ)/modules/ssl/ # /usr/local/apache2/bin/apxs -c -i -a *.c /usr/local/apache2/build/libtool --silent --mode=compile gcc -prefer-pic
なぜかJenkinsを起動させたらパケットロスが多発しまくったのを無理やり直した話 - 元RX-7乗りの適当な日々
※ まず、はじめに、僕があまりJenkins自体の挙動に詳しくないので、誰か正しい直し方をご存知の方がいらっしゃったら、教えてほしいです。 本題。これは明らかな環境依存下(特にネットワークまわり)での話なのですが、KVM上でのLinux(CentOS 5/6系)な環境で、Jenkinsを起動するとパケットロスが多発して全然使い物にならないケースがありました。 (Jenkinsを落とすと普通に復旧しちゃうんですよね。。。) で、こんな感じで若手が苦しんでいたので、ちょっとOS上で色々と調べていたのですが、どうもtcpdumpを眺めていると、 11:31:14.427406 IP xxx.xxx.40.102 > 239.77.124.213: igmp v2 report 239.77.124.213 11:31:17.905397 IP xxx.xxx.40.102 > 239.77.12
自動車の複数社による同時査定で、一般ディーラー査定よりかなり高額で売却できた話＋RX-7ドナドナ記録 - 元RX-7乗りの適当な日々
まず、このブログの冠にも付けていた僕の愛車、RX-7(FD3S)を売却しました。 この件については、一言で語りきれず、断腸の思いというか苦渋の決断をしました。 売却にあたっては色々と考えた結果、自動車の一括査定(しかも複数社による同時査定)をしていただいたのですが、僕のRX-7は元々非常に特殊な車＆チューンドカーということもあってか、ディーラー査定よりかなり高額で売却できたことと、同時査定に関する情報(体験談や交渉の詳細)がネット上にほとんど存在していないので、僕が得たノウハウを含めて、ここにログを残しておこうと思います。(スケジュール通り、無事トラブルもなく入金いただいたので。) 尚、今回の前提となる車は、既に絶版車ですが、十年落ちの中古車でもグレードや程度がよければ、当時の新車並みの300〜400万という価格で売られている超人気スポーツカーなので、全ての車で今回のようなケースにはならな
"DevLOVE Conference 2012"で話した「Chefを利用した運用省力化とDevOpsの取り組みについて」と「俺たちの自分戦略」の資料を公開します - 元RX-7乗りの適当な日々
※ タイトル長いｗ 12/15に開催された、記念すべき100回目のDevLOVEイベントとなる「DevLOVE Conference 2012」で話をする機会を頂きましたので、そこでの2セッション分の資料を公開します。 http://devlove2012.devlove.org/ http://devlove.doorkeeper.jp/events/1846 Chefの話 Chefを利用した運用省力化とDevOpsの取り組みについて from Yuuki Namikawa アメーバピグ関連のサービスは、これまでのアメーバのサービスの中でも類を見ないスピードで成長しており、そのトラフィックを捌くバックエンドのサーバ群は1000台以上の規模へと成長を遂げました。そのインフラストラクチャーを支えるツールであるChefを使ってどう運用の省力化を実現しているのかを、DevOpsとしての取り組みを
LinuxでディスクのRAIDメタデータを削除する - 元RX-7乗りの適当な日々
# 何かあった時のために、某若手に送るログ。というかメモ。 ディスクは一度RAIDを組むと(ソフトウェア/ハードウェアRAID問わず)、ディスクにRAIDのメタデータ(スーパーブロック)を持ちます。 RAIDカードでハードウェアRAIDを組んだ後に、ディスクを初期化(Initialize)して使いたい場合、RAIDカードのBIOSで出来ればいいのですが、RAIDカードが無かったり上手く適合しなかった場合にどうするか、という話。 Google先生に聞くと、Linuxではdmraidコマンドやmdadmコマンドを使うと良いと教えてもらえます。 # dmraid -r /dev/sdf /dev/sdf: ddf1, ".ddf1_disks", GROUP, ok, 1952448512 sectors, data@ 0まずはチェック。(ディスクのデバイス名は事前に確認しておきましょう。) #
xfsが壊れたので修復... - 元RX-7乗りの適当な日々
久しぶりにxfsを壊した。 DRBDを入れている環境で、ちょっと無茶な検証テストをしたら、HeartbeatでPrimaryに昇格(切り替わり)できなくなって、ちょっと調べてみたらマウントできなくなっていた。久しぶりにやったのでメモ。 # mount /dev/drbd0 /data mount: 構造体を内容消去する必要がありますこんな感じで。壊れた・・・。 mount: Structure needs cleaning英語だと、こんな感じのメッセージじゃろ。 # xfs_check /dev/drbd0 ERROR: The filesystem has valuable metadata changes in a log which needs to be replayed. Mount the filesystem to replay the log, and unmount it
複数のbondingインターフェースごとにmode等の設定を分けたいとき - 元RX-7乗りの適当な日々
若者が苦しんでいたので、ちょっと調べてみた。 /etc/modprobe.conf (CentOS 5系) もしくは /etc/modprobe.d/bonding.conf (CentOS 6系) に、 alias bond0 bonding alias bond1 bondingこんな感じのみの記載で、↑のファイルにOptionsは書かない。 各々のインターフェースのbondingオプションは、各インターフェースの設定(ifcfg)に"BONDING_OPTS"を定義して書く。 例えば /etc/sysconfig/network-scripts/ifcfg-bond0 や /etc/sysconfig/network-scripts/ifcfg-bond1 のファイルで、以下はあくまでサンプルだけど、 DEVICE=bond0 BOOTPROTO=static ・・・省略・・・ BO
新幹線ホテルに泊まらざるをえなくなった話を書いておこうか - 元RX-7乗りの適当な日々
6/18〜6/19にかけて親族に不幸があって、四国の山奥まで行っていたのですが、その帰り道に大型の台風4号の影響によって、いくつかのアクシデントに見舞われ、したくもない初経験をしてしまったので、当日のTweetをもとに記念にログを残しておこうと思います。 http://www.asahi.com/national/update/0620/TKY201206200003.html 6/19 大型の台風4号が日本大陸に接近し、四国はほぼ全域で朝7時頃から、大雨・洪水・暴風警報が発令されていました。 諸々のイベントが終わった後、14時半頃になっており、既に外は結構な雨風が吹き荒れている状態。 午前中の時点で、航路や空路はもちろん、JR瀬戸大橋線や高速バスの運転見合わせが決まっていたため、四国でもう一泊してもよかったのですが、翌日に半日かけて870km以上を移動することがしんどかったのもあり、車で
大容量ファイルのSCP転送を高速にする方法 - 元RX-7乗りの適当な日々
比較的大きいサイズのファイルをSCPで転送することがあって、できるだけ高速化してみたかったので、色々試してみたメモ。 scpというかsshには、暗号化方式と圧縮有無の指定があるので、それらのベンチマークを。 尚、以下は、SSH v2が対象です。v1はかなり遅かったのと、そもそも使っていないので試していません。 (追記: 2019/11) 本エントリの情報は既に古いため、以下のエントリにて再検証しています。あわせてご覧くださいませ。 ベンチマークで利用した環境 [Server1] <=> [Gigabit Switching Hub] <=> [Server2] Server1 (HP ML115 G5) AMD Phenom 9950, 8GB, RAMディスク使用, Gigabit Ethernet Server2 (HP ML115 G1) AMD Opteron 1210, 4GB,
DeNAさん著の「Mobageを支える技術」を読んだ - 元RX-7乗りの適当な日々
もはや説明する必要もないソーシャルゲーム・プラットフォームサービスとなったMobage。そんなサービスを支えるDeNA社のエンジニア陣が執筆した書籍が明日発売とのこと。 この本は発売前から気になっていたのですが、大変ありがたいことにDeNAの方々からご献本いただきました。この場を借りて御礼申し上げます。 Mobageを支える技術 ~ソーシャルゲームの舞台裏~ (WEB+DB PRESS plus) 作者: DeNA出版社/メーカー: 技術評論社発売日: 2012/06/13メディア: 単行本（ソフトカバー）購入: 31人 クリック: 737回この商品を含むブログを見る さて、すっかり大規模Webサービスとなったモバゲーですが、本書によると2012年3月末時点で、ユーザ数は約4000万人に到達し、35億PV/dayを捌くインフラアーキテクチャは意外にもWeb/APサーバ＋DBサーバの基本2層
Linuxでファイルやディスクの中身を完全に消去する - 元RX-7乗りの適当な日々
大事なファイルを削除したいときやディスクを廃棄・譲渡する時などは、データを完全に消去したいものです。 正直、プロではないので、データ復旧の詳細は詳しくありませんが、rmコマンドでデータを消去してもddコマンド等でデバイスを吸い出して、細かく解析していけば(あまり断片化されていなければ)データは復旧できるかもしれません。 そんなときは、"shred"コマンドが使えるようです。 "shred"を使うと、データの内容を特別なパターンで繰り返し上書きを行い、論理的に破壊することが可能です。 "shred"はGNUのcoreutilsに含まれているコマンドで、おそらくLinuxであれば何もインストールせずとも使えるコマンドかと思います。 尚、"shred"を利用してのディスク廃棄などは、自己責任でお願いします。 さて、"shred"の使い方は、、、 $ shred -u hoge.txtな感じで、-
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
