NVMe SSDのベンチマークをとってみた (約70万IOPS/1台) - 元RX-7乗りの適当な日々
手元にNVMe SSDがあったので、自分でベンチマークを取ってみたログ。 NVMeってのは、ストレージデバイスを接続する際の規格で、従来でいうSATAインターフェースの仲間みたいなもの。NVMeの詳細は以下のリンク先に記載があるので読んでいただきたい。 NVMeは、SCSIやSATA（Serial ATA）と同じく、ストレージを接続するための規格だ。パイプラインやランダムアクセスなど、メモリーベースのストレージであるSSDの特徴を活用できる。また、SATAやAHCIの登場から現在までの間に進化した、データのレイテンシー（遅延時間）短縮のための手法も反映している。 具体的な改良点としては、4KBの転送に必要なメッセージが2つではなく1つで済む点や、コマンドを処理するキューが1つではなく複数になっているという点がある。「複数」というのは、実に6万5536個である。これにより、多数のディスクI/
xfsファイルシステムのデフラグ方法とパフォーマンスについて - 元RX-7乗りの適当な日々
4/1のエントリで、頑張ってブログを書く頻度を上げます、と言ったまま4日が経過し、このままだとただのエイプリルフールの戯言になりかねないと思ったので、ちょっと調べてみたログを残します。 XFSの設計はエクステントベースで、ファイルの内容は1つ以上のエクステントと呼ばれる連続的な領域内に保存されている。XFSファイルシステム内のファイルは、ユーザーの使い方によってはフラグメント化することがあるが、xfs_fsrユーティリティを使ってそのようなファイルをデフラグすることでファイルアクセスについてのシステムの性能を向上させることができる。 xfs_fsrを使ってXFSファイルシステムをベストの状態で使用する (1/2) - ITmedia エンタープライズ ココの部分の使い方を実際に試してみることにしました。 まず、用意したのは、xfsファイルシステムで2年くらい運用して役目を終えた、とあるサー
「Amazon RDS for Aurora Deep Dive」講演メモ (AWS Summit Tokyo 2015) #AWSSummit - 元RX-7乗りの適当な日々
メモったので、貼付けておきます。 間違い等あるかもしれませんが、その場合はごめんなさい。 Auroraは現在Preview中 頻繁にデプロイ・機能変更が行われている 今日の話の内容は6/2時点のもの フルマネージドなDB データベースを数分で作成可能 自動でパッチの適用 1クリックでスケールアウト S3への継続的バックアップ Amazon Aurora AWSがクラウド時代にRDBを作るとするとどうなるかを1から考えた エンタープライズグレードの可用性とOSSレベルのコストを両立 現在はLimited Preview Virginia/Oregon/Irelandリージョンで動いている 5/20よりpreviewがプロダクション環境へ移行 Beta環境はクローズ AuroraのPricing 現在は、r3シリーズのみでの提供 ライセンス料金は不要 MySQLと100%互換なので、ロックイン
「Amazon EBS パフォーマンスベンチマーク2015」講演メモ (AWS Summit Tokyo 2015) #AWSSummit - 元RX-7乗りの適当な日々
これまたメモったので、貼付けておきます。 間違い等あるかもしれませんが、その場合はごめんなさい。 Amazon EBS EC2インスタンスにアタッチして使用するブロックレベルのストレージサービス snapshotによりバックアップやディスクの暗号化機能を提供 99.999%の可用性を備えるよう設計されている EBSの特徴 1GB単位で指定。最大16TB マグネティックは最大1GB AZ毎に独立、同一のAZからのみ利用可能 Snapshotからは任意のAZに復元・移動可能 EBSを複数のインスタンスから同時に使う(共有)ことはできない アーキテクチャ データはAZ内の複数のHWにレプリケートされる 実態はネットワーク接続型のストレージ セキュリティグループによる通信制御の対象外 ボリュームタイプ ユースケースに応じて3種類から選択 汎用SSD、Provisioned IOPS(SSD)、マグ
「サーバにログインしない・させないサービス運用」講演メモ (AWS Summit Tokyo 2015) #AWSSummit - 元RX-7乗りの適当な日々
メモった。間違い等あるかもしれませんが、その場合はごめんなさい。 Gunosy 2011.09リリース 現在900万DL突破 エンジニアは現在26名 2014.11は16名、2013.11は7名、2012.11は4名 クライアント+QAは5名、Web+APIまわりは5名、インフラは1名とかとか Gunosyの開発 API: Golang パートナー・広告主への管理画面: Rails バッチ・内部向け: Django or Python バージョン管理: GitHub 構成管理・デプロイ: Chef (+OpsWorks) 開発の特徴 小さい単位で作ってすぐ捨てる マイクロサービス的な 機能が増えすぎたら分割 メンテするよりリプレース サーバにログインされて困る事 信頼できないビルド・デプロイ 開発者の手元でビルドすると、どの断面なのかわからずトラッキングできない プロダクションに上がってい
nanapi勉強会 vol2 で、シェルオプションの話をしてきた #nanapi_study - 元RX-7乗りの適当な日々
nanapiのCTOである@wadapさんに声をかけていただいて、LTをやってきました。 nanapi勉強会 vol2 - Shellの活用でこれだけ毎日が便利になる LTで使った資料を以下に公開しておきます。 bash(set)コマンドのオプション3選 from Yuuki Namikawa 資料だけだと伝わりづらいですが、僕がこのLTで話したかったことですが、実は本編はおまけみたいなもので、現地でしゃべったとおりですが、スライド3枚目〜5枚目の部分です。 単純に、先日発売になったChef実践入門の宣伝ｗと、もう1つはシェルのHistoryで初対面のエンジニアと仲良くなる方法ですｗ スライド4枚目に書いてあるとおりですが、普段自分が使っているシェルで例えば以下のような感じでコマンドを実行すると、Historyから、コマンドの実行回数ランキングを出してくれます。 $ history | a
「JVM Operation Casual Talks」発表資料のリンクをまとめてみる #jvmcasual - 元RX-7乗りの適当な日々
4/7に、LINEさんのオフィスで開催された「JVM Operation Casual Talks」。 一部で、Cassandra Casualだったのではないかという疑惑もありましたが、なかなかためになる話が多くて、あとできっと資料を見たくなる日が来そうなので、ちょっとまとめておこうと思う。 こちらもあわせて読みたい JVM Operation Casual Talks #jvmcasual - Togetter Understanding Memory Management of JavaVM in 15 minutes (@stanakaさん) https://speakerdeck.com/stanaka/understanding-memory-management-of-javavm-in-15-minutes @stanakaさん、どこでJVM使ってるのかと思ったら、今日は
HAProxyのパフォーマンスチューニングをやったメモ(CPS編) - 元RX-7乗りの適当な日々
HAProxyを使う上で、どうやったらパフォーマンスが上がるのかを模索するメモ。 基本的に、万能なパフォーマンスチューニングはないので、今回はCPS(Connections per Second)のパフォーマンスを上げることに焦点を絞ります。CPS(Connections per Second)は、ロードバランサの性能指標の1つとなっている数値です。 あくまで軽くやってみた過程のメモ書きみたいなものなので、まとまりもなく、まだまだ改善の余地があるとは思いますが、何かの参考にしてください。 前提 HAProxyを動かすのに使用した環境は以下の通り。 Server: DELL PowerEdge R420 CPU: Intel Xeon E5-2430L @ 2.00GHz * 2 Memory: 96GB Ethernet controller: Intel Corporation Ethe
Linuxサーバがディスク容量不足になった！何か消さねば！ってなった時にどう対処するか - 元RX-7乗りの適当な日々
とりとめもなく書いてみる。主にルーキー向けです。 サーバの運用とかやっていると、不定期ではあるが、たまにタイトルのようなディスク容量が逼迫する話題に直面します。 まぁ、それが起こるのは一旦良いとして、みんなこういう時、どうやって調べているのだろう？ とりあえず、僕がどうやってるか書いてみます。 何はともあれ現状確認 みんな大好き"df"コマンドです。細かい説明は省きますが、各パーティション・ファイルシステムごとにディスクの使用状況を確認。 # df -h Filesystem サイズ 使用 残り 使用% マウント位置 /dev/sda3 130G 88G 36G 72% / /dev/sda1 494M 23M 447M 5% /boot tmpfs 12G 0 12G 0% /dev/shm正確とは言いませんが、だいたいどのパーティションにどのくらい容量が空いているかが確認できます。 ど
tracerouteの色々 - 元RX-7乗りの適当な日々
インターネットのネットワークに多少なりと興味がある方なら、指定の目的地までの経路探索をしてくれる、みんな大好きtracerouteコマンド。 そんなtracerouteの色々をメモしておきます。 tracerouteの仕組み 既に多くの解説サイトがあるので、そちらに譲りますｗ tracerouteはTTLを1ずつ増やしながらパケットを送信することで、経路情報を取得する。 TTLとはパケットの生存期間を表し、ルータを1つ経由することに1ずつ減算される。 ルータはTTLが2以上のパケットが届いた場合、TTLの値を1だけ小さくし次のルータへ転送する。 TTLが1のパケットが届いた場合、届いたパケットを破棄しICMP time exceededパケットを送信者に返す。 tracerouteはまず、TTLを1にセットしたパケットを送信する。最初のルータに届いた時点でTTLがゼロになり、ICMP ti
AWSの上位ネットワークまわりについて - 元RX-7乗りの適当な日々
昨日から、色々調べ始めています。今日はAWSの上位ネットワークまわり。特に東京リージョン(Asia Pacific (Tokyo) Region)。 現時点の情報のスナップショットとしてログがわりに残しておきます。 ASN (AS番号) まず、以下のサイトで調べてみると、、、 http://bgp.he.net/search?search[search]=Amazon&commit=Search この通り、Amazonが取得しているASNは10個ほど見受けられますが、中身を見ていくと、このうちAS16509にほぼ集約されていることがわかります。 AS16509に接続されているBGPのPeerの数は現時点で、v4が158、v6が10となっています。(公開情報のみ) Peerの内訳は以下のリンク先から確認できます。 http://bgp.he.net/AS16509#_peers ざっくり確認
Linux/Mac/Windowsでハードウェア構成に関する情報を調べる - 元RX-7乗りの適当な日々
サーバ/クライアントPC問わず、今使っているマシンのハードウェア構成がどのようなものかをOS上で確認したくなることもあるでしょう。 そんな時にお手軽に調べられる方法を、たまーにググったりするので、Linux/Mac OS X/Windowsの3つのOSの場合の調べ方をここに残しておきます。 Linux Linuxでは、dmidecodeコマンドを使います。 BIOSの情報とか、マシンの各種システム情報(シリアルナンバー等の各種メタ情報、CPU、メモリ、その他デバイス情報とか)が取得できます。 CentOS/RHELとかだと"kernel-utils"パッケージがインストールされていれば使えます。 ちょっと長いですが、以下のような感じです。 # dmidecode # dmidecode 2.11 SMBIOS 2.7 present. 87 structures occupying 399
Chef 11 で Chef Server WebUI を使えるようにしてみる(chef11アレコレ) - 元RX-7乗りの適当な日々
昨日の「Chef 11 での client/server/knife のセットアップ手順(+α)」のエントリの続きです。 Chef ServerとClientは基本的にRESTなHTTP APIを介してやりとりを行うのですが、ChefにはServer APIをGUI(ブラウザ)で操作できるchef-server-webuiが標準でついています。 ↑の昨日のエントリでセットアップした状態だと、僕の環境(CentOS 6系)だと使えなかったので、使える状態までに設定したメモを残しておきます。 (ちなみに、私は普段ほとんどWebUIを使っていません...) 前提 Chef Server 11系のバージョン 昨日のエントリの通り、Chef Serverはインストール＆動作確認済 http://d.hatena.ne.jp/rx7/20130526/p1 使ったChef Serverの環境はCent
「AWS Summit Tokyo 2013」 1日目の講演メモ #awssummit - 元RX-7乗りの適当な日々
今日は午後から、表題のカンファレンスに行ってきました。 AWS Summit Tokyo 2013 久しぶりに行くAWS系のビッグカンファレンス。AWSの中の方(ソリューションアーキテクト)が話してくれる「上級者向け」と題されるテクノロジーセッション3つに参加して、メモ書きをとったのでここに残しておきます。 (個人的には、3つ目の大谷さんの話が面白かったです。) ハイブリッド構成を支えるAWSテクノロジー AWS荒木さん プリンシパルソリューションアーキテクト @ar1 なぜハイブリッド環境なのか 既存のアセットを最大限に活かして、AWSのメリットを享受する 開発での利用パターン(dev,stgで使っている) データをどう持ち運ぶか ディザスタリカバリでの利用パターン データをどうやって同期するか 複数のシステムがハイブリッドでやりとり 監視・制御を複数プラットフォームで システム間連携を
Chef 11 での client/server/knife のセットアップ手順(+α) - 元RX-7乗りの適当な日々
遅れながら、Chefの新しい11系のバージョンを触ってみました。 つまづいた途中経過を含めて、セットアップのログや動きで気付いた事を簡単に残しておきます。 尚、今回使ってみた実行環境は、CentOSの6系です(Linux)。 結論から申し上げますと、Chefの新しいバージョンは、サーバのセットアップが物凄く楽でした。 旧来のバージョンでもUbuntuはそこそこ楽でしたが、CentOSの面倒くささと言ったら、んもう。 インストールパッケージの入手先 最近は、下記のChef本家となるOpscodeのサイトから、client/serverともインストーラ(各OSでのパッケージ)をダウンロードできるようになっています。 Chef Downloads Clientのインストール 上記サイトからパッケージをダウンロードしてインストールしてもよいのですが、Linuxであれば curl -L https:
Amazon EBS の性能ベンチマーク その2 (Standard-Vol増量編) - 元RX-7乗りの適当な日々
昨日エントリ「Amazon EBS の性能ベンチマーク その1 (Standard編)」の続きです。 昨日のエントリで、次はEBSボリュームのサイズを20GBではなく、もっと大きなものにしてみたら、どうなるのだろう？と疑問となった部分があるので、そこのベンチマーク結果となります。 ベンチマークの条件の詳細等は、以下の昨日のエントリからご確認くださいませ。 Amazon EBS の性能ベンチマーク その1 (Standard編) 5. 200GBのEBSボリュームを使ったベンチマーク おさらい的にベンチマークを取得した環境は以下です。 東京リージョン(ap-northeast)で実施。 c1.xlarge (High-CPU Extra Large Instance) のインスタンスを利用。 http://aws.amazon.com/jp/ec2/instance-types/ によると「
Amazon EBS の性能ベンチマーク その1 (Standard編) - 元RX-7乗りの適当な日々
以前、「噂の高速SSDを積んだAmazon EC2インスタンスのI/Oベンチマークをとってみた」でAmazon EC2で利用できるSSDボリュームのベンチマークを取った際に、EBSボリュームに関しても簡単に計測しているのですが、もう少し詳細に見てみようと思い、もうちょっと詳しく性能を計測してみました。(急いでいる方は最後のまとめを読むだけでOKですｗ) 実は、大昔(3〜4年くらい前)にも同じようなことを軽くやったのですが、結果がどこかにいってしまった＆今はまた結果が違うかもなので、やってみた。 ベンチマークの目的は、EBSボリュームをソフトウェアRAIDで束ねた(ストライピング)場合に、どのくらいパフォーマンスが出せるのかという観点。 というわけで、色々な観点から性能を測ってみました。使ったツールは「噂の高速SSDを積んだAmazon EC2インスタンスのI/Oベンチマークをとってみた -
なぜかJenkinsを起動させたらパケットロスが多発しまくったのを無理やり直した話 - 元RX-7乗りの適当な日々
※ まず、はじめに、僕があまりJenkins自体の挙動に詳しくないので、誰か正しい直し方をご存知の方がいらっしゃったら、教えてほしいです。 本題。これは明らかな環境依存下(特にネットワークまわり)での話なのですが、KVM上でのLinux(CentOS 5/6系)な環境で、Jenkinsを起動するとパケットロスが多発して全然使い物にならないケースがありました。 (Jenkinsを落とすと普通に復旧しちゃうんですよね。。。) で、こんな感じで若手が苦しんでいたので、ちょっとOS上で色々と調べていたのですが、どうもtcpdumpを眺めていると、 11:31:14.427406 IP xxx.xxx.40.102 > 239.77.124.213: igmp v2 report 239.77.124.213 11:31:17.905397 IP xxx.xxx.40.102 > 239.77.12
"DevLOVE Conference 2012"で話した「Chefを利用した運用省力化とDevOpsの取り組みについて」と「俺たちの自分戦略」の資料を公開します - 元RX-7乗りの適当な日々
※ タイトル長いｗ 12/15に開催された、記念すべき100回目のDevLOVEイベントとなる「DevLOVE Conference 2012」で話をする機会を頂きましたので、そこでの2セッション分の資料を公開します。 http://devlove2012.devlove.org/ http://devlove.doorkeeper.jp/events/1846 Chefの話 Chefを利用した運用省力化とDevOpsの取り組みについて from Yuuki Namikawa アメーバピグ関連のサービスは、これまでのアメーバのサービスの中でも類を見ないスピードで成長しており、そのトラフィックを捌くバックエンドのサーバ群は1000台以上の規模へと成長を遂げました。そのインフラストラクチャーを支えるツールであるChefを使ってどう運用の省力化を実現しているのかを、DevOpsとしての取り組みを
Amazon EC2で第2世代のスタンダードインスタンスが出たらしいのでCPUベンチマークをとってみた - 元RX-7乗りの適当な日々
本日(本国では昨日)、AWSから以下のアナウンスがありました。 Amazon Web Services ブログ: 【AWS発表】EC2に第二世代スタンダードインスタンスが追加! さらに値下げも! その中で、 第二世代スタンダードインスタンス そして本日、インスタンスのスタンダードファミリーに第二世代にあたるインスタンスタイプを追加したことをお知らせいたします。これらのインスタンスは既存のスタンダードインスタンスと同じCPU対メモリ比になっています。 従来より50% CPUパフォーマンスが高速になっていますので、メディアエンコーディングやバッチ処理、キャッシングやウェブ配信でよりご活用いただけるかと思います。 Amazon Web Services ブログ: 【AWS発表】EC2に第二世代スタンダードインスタンスが追加! さらに値下げも! といったアナウンスがありまして、従来より50%もCP
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
