DNSラウンドロビンを使った時にアクセス・負荷が偏る話 - 元RX-7乗りの適当な日々
昨日に続き、アクセスが偏る系のエントリです。 なにかと議論のネタになるDNSラウンドロビンですが、今日はDNSラウンドロビンを使った時に、各IPアドレスにくるリクエスト数に偏りが出るという話。 DNSラウンドロビンで設定されているFQDNに、コマンドラインで"host"とか"nslookup"のコマンドを何度か実行すると、返ってくるIPアドレスリストの順序が入れ替わっていくことが確認できると思います。 基本的に、クライアントはそのIPアドレスリストの上(最初)からアクセスを行うため、これによって(一応)負荷分散が実現できるはずですが、特定環境のクライアントでは、ラウンドロビンとはならずに必ず特定のIPアドレスにアクセスするケースがあるのです。(既知の事実ですが。) この事は、Wikipediaの該当ページにも記載されています。 主にIPv6における宛先アドレス選択アルゴリズムとして定義され
新車のオーダーを入れた - 元RX-7乗りの適当な日々
思い出迷子になりそうなので備忘録的に書いておく。 先週末の話にはなるが、タイトル通り、新しい車のオーダーを入れてきた。 しばらく考えていたのだけど、世界的な半導体不足はしばらくの間、続きそうな雰囲気ではあるし、ひょっとしたらこのタイミングで買える車 (欧州車) で、ピュアなガソリンエンジンだけで走れる自動車、つまり (EVやハイブリッド車ではない) 内燃機関だけを持つ車は、最後になるかもしれないな、、、という気がしてきたので、思い切って買う決意をした。(まだ買えるかわからないけど) インターネット上の情報では、お目当ての車について、まだオーダーできそうな雰囲気ではあったので、ディーラーに行ってみたところ、うちの販社で持っているオーダー枠は残り1枠ですよ、と。また増枠されるかもしれないし、ここで打ち切られるかもしれないし、未来はちょっとわかりません、と。(セールストークかもしれないけど) そ
サイバーエージェントを退職します - 元RX-7乗りの適当な日々
私事ですが、タイトルの通り、(株)サイバーエージェントを退職します。昨日8/31が最終出社でした。正確に書くと退職日はもう少し先です。 入社日が2010/09/01だったので、ちょうど丸5年が経ちました。在籍中は、社内外の皆様に多くのご協力を頂き、様々なことにチャレンジすることができました。本当にありがとうございました。 5年もやっていると、それはもう毎日飽きないくらい良い事も悪い事も色々ありましたが、エンジニアとして技術面、および人間として考え方の幅が大きく広がったと思っていて、良い成長機会を頂けたと思っています。 会社として伸び盛りの重要な大規模サービスやプラットフォームサービスに大きく関われた事、様々な技術的挑戦をさせてもらえた事、その上でそれなりの事業貢献ができた事、そして多くの優秀なメンバーと共に刺激を受けながら仕事ができた事、その全てが素晴らしい経験となりました。 私がやってき
NVMe SSDのベンチマークをとってみた (約70万IOPS/1台) - 元RX-7乗りの適当な日々
手元にNVMe SSDがあったので、自分でベンチマークを取ってみたログ。 NVMeってのは、ストレージデバイスを接続する際の規格で、従来でいうSATAインターフェースの仲間みたいなもの。NVMeの詳細は以下のリンク先に記載があるので読んでいただきたい。 NVMeは、SCSIやSATA（Serial ATA）と同じく、ストレージを接続するための規格だ。パイプラインやランダムアクセスなど、メモリーベースのストレージであるSSDの特徴を活用できる。また、SATAやAHCIの登場から現在までの間に進化した、データのレイテンシー（遅延時間）短縮のための手法も反映している。 具体的な改良点としては、4KBの転送に必要なメッセージが2つではなく1つで済む点や、コマンドを処理するキューが1つではなく複数になっているという点がある。「複数」というのは、実に6万5536個である。これにより、多数のディスクI/
複数のWebサーバでSSLセッションキャッシュを共有してSSL処理を高速化(Apache + mod_ssl + mod_socache_memcache) - 元RX-7乗りの適当な日々
HTTPS(SSL利用)サイトがSEO的に優遇されるトレンドで、世間的にもHTTPS接続でサイト運用するサービスが増えてきています。 これが、ハイトラフィックサイトになってくると、このフロントエンドでSSL処理させることが負荷的にもなかなか辛いのです。 で、Apache 2.3以降では、Shared Object Cache Providerとして、memcachedが選択できるようになっています。 この仕組みを利用して、Apacheとmemcachedを並べることで、各サーバでユーザのSSL Session Cacheを共有しながらHTTPSリクエストを負荷分散できる構成を作ってみました。 WebサーバでSSLオフロード 常時SSLを利用したWebサイトを運用するために、SSLアクセラレータといったアプライアンス製品だとか、ソフトウェアだとApacheやNginxのSSLモジュールを使う
MySQLのホストキャッシュ - 元RX-7乗りの適当な日々
MySQL 5.5 のホストキャッシュに関するメモ。 詳細は以下ドキュメントに全て書いてある。(英文) MySQL :: MySQL 5.5 Reference Manual :: 8.12.5.2 DNS Lookup Optimization and the Host Cache シーケンス 新しいクライアントから接続があると、サーバはそのIPアドレスからホスト名がホストキャッシュにあるかチェックする。 無ければ、サーバはホスト名を解決することを試みる。 まず、IPアドレスからホスト名をチェックし、そしてホスト名からIPアドレスをチェックする。で、その結果をオリジナルのIPアドレスと比較し、同じであることを確認した後、ホストキャッシュに格納する。 キャッシュが一杯の場合は、最も長い時間使われていないエントリが破棄される。 名前解決 OSがサポートしている場合、スレッドセーフな geth
Amazon EC2で高速SSDを8つも搭載した新しいI2インスタンスのベンチマークをとってみた - 元RX-7乗りの適当な日々
AWS re:Inventで発表されていた、SSDによる高性能ランダムI/O用に最適化されたという、Amazon EC2の新しいインスタンスタイプ「I2インスタンス」が先日使えるようになりました。 インスタンスタイプとしては"i2.*"からはじまるやつです。 I2インスタンスタイプは、特にリレーショナルデータベース、NoSQLデータベース、およびトランザクションシステムによって生成されるI/O集約型のワークロードをホストするように設計されています。最も大きいサイズのI2インスタンスタイプは、4KBのブロックサイズでの計測で、秒間365,000を超えるランダムリードと秒間315,000を超えるランダムライトの性能を発揮します。4つのインスタンスサイズをご利用いただけますので、必要なストレージとI/O性能が高くなのに合わせて、小さくスタートし、スケールアップしていくことができます。 このインス
最新のSSD5機種とRAIDカードのパフォーマンス検証 - 元RX-7乗りの適当な日々
少し時間が経ってしまったのですが、今年の夏頃に書いた検証レポートを公開します。 最新の機種と書きつつ、昨年のモデルのSSDが1つ混じっていたりなど、突っ込みどころはあるのですが、何かの参考になれば幸いです。 はじめに 昨今、記憶媒体装置の1つであるSSD(Solid State Drive)は、コンシューマー/エンタープライズを問わず、かなり普及してきている。 価格対容量のコストパフォーマンスや容量そのものに関しては、ハードディスクにかなわないものの、SSDの高いI/O性能(特にランダムアクセス)は非常に魅力的であることと、特に、低容量のもの(120GB以下等)であれば1万円以下で購入できる時代となってきており、コスト面に関しても手を出しやすくなってきている。 ところで、弊社のサービスで利用されているディスクの多くは、SATA/SASのハードディスクを利用しているケースが多い。 中には、F
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
