デブサミ2016「大規模Redisサーバ縮小化の戦い」講演メモ #devsumi - 元RX-7乗りの適当な日々
メモメモ。泥臭い話で面白かったです。 「大規模Redisサーバ縮小化の戦い」 駒井 祐人 氏 (株)アカツキ ゲームのサーバサイド機能開発、インフラの設計構築・保守運用 Redisとは インメモリDB 5種類のキーバリューのデータ型 ファイル永続化オプション システムの問題点 EC2サーバが20台に対して、AWSのElasticCache(Redis)が64台あった なぜ64台あったかというと、リリース直後にRedisの負荷問題があり、8台 => 64台になった 調査するとkeys("")を実行している箇所があった 当然お金がかかる(cache.m3.large * 64台 = 約135万円/月) 冗長化しんどいし、設定ファイルの記載も辛い ので、縮小化と冗長化の対処をしたい 現状整理 格納されているデータ フレンド情報、セール情報、ランキング情報 キーの件数 1サーバに8DB、1DBあた
Linuxサーバに搭載されているCPUコア数の確認 - 元RX-7乗りの適当な日々
この前、若手に聞かれたので、ここにも書いておく。 好みでは有るが、可能な限り数字のみで標準出力に出せるようにしておくと、スクリプトの中などで並列実行数を動的に定義しやすい。 ちなみに下記の前提は、CentOS 6.6 & 56コア(！)のサーバで確認している。 nproc # nproc 56一番簡単なやつ。 getconf # getconf _NPROCESSORS_ONLN 56getconfでも拾える。 /proc/cpuinfo # cat /proc/cpuinfo | grep -c "processor" 56皆さん、ご存知の通り、 /proc/cpuinfo は多くのCPU情報を取得することが出来る。 余談だけど、 /proc/cpuinfo に含まれる"physical id"はどの物理ソケットか、とか、"core id"を見ると物理コア(HT関連などで論理コアの紐付き
tracerouteの色々 - 元RX-7乗りの適当な日々
インターネットのネットワークに多少なりと興味がある方なら、指定の目的地までの経路探索をしてくれる、みんな大好きtracerouteコマンド。 そんなtracerouteの色々をメモしておきます。 tracerouteの仕組み 既に多くの解説サイトがあるので、そちらに譲りますｗ tracerouteはTTLを1ずつ増やしながらパケットを送信することで、経路情報を取得する。 TTLとはパケットの生存期間を表し、ルータを1つ経由することに1ずつ減算される。 ルータはTTLが2以上のパケットが届いた場合、TTLの値を1だけ小さくし次のルータへ転送する。 TTLが1のパケットが届いた場合、届いたパケットを破棄しICMP time exceededパケットを送信者に返す。 tracerouteはまず、TTLを1にセットしたパケットを送信する。最初のルータに届いた時点でTTLがゼロになり、ICMP ti
Linux/Mac/Windowsでハードウェア構成に関する情報を調べる - 元RX-7乗りの適当な日々
サーバ/クライアントPC問わず、今使っているマシンのハードウェア構成がどのようなものかをOS上で確認したくなることもあるでしょう。 そんな時にお手軽に調べられる方法を、たまーにググったりするので、Linux/Mac OS X/Windowsの3つのOSの場合の調べ方をここに残しておきます。 Linux Linuxでは、dmidecodeコマンドを使います。 BIOSの情報とか、マシンの各種システム情報(シリアルナンバー等の各種メタ情報、CPU、メモリ、その他デバイス情報とか)が取得できます。 CentOS/RHELとかだと"kernel-utils"パッケージがインストールされていれば使えます。 ちょっと長いですが、以下のような感じです。 # dmidecode # dmidecode 2.11 SMBIOS 2.7 present. 87 structures occupying 399
DeNA松信さんの「MySQL環境におけるFusion-io検証結果とDeNAにおける活用価値」セッションメモ - 元RX-7乗りの適当な日々
弊社の一部のサービスでも絶賛活躍中のFusion-io社のioDrive。 Fusion-io ioDriveとFusion-io ioDrive Duoではどちらも、最小容量のモデルはSLC型、そのほかはMLC型を使っているが、Fusion ioDriveの読み込み速度は735〜770MB/s、書き込み速度は510〜750MB/sだ。Fusion ioDrive Duoに至っては、読み込み速度は1.0〜1.5GB/s、書き込み速度は一律1.5GB/sという数値をたたき出す。 ＠IT Special PR：Fusion-ioのクールな技術を使いこなせ！ 今日はデルさん主催の下記セミナーにて、このFusion-ioに関するDELL社の検証結果紹介や、DeNA松信さんによるMySQL環境でのFusion-io検証結果およびDeNAでの利用に関するお話が聞けるとのことだったので、途中からの参加で
Linuxでシステムに対して意図的に高負荷をかけたい場合 - 元RX-7乗りの適当な日々
今更感があるかもしれませんが紹介。 stressコマンドを使うと、CPUやメモリ、ディスクに対して意図的に負荷を与えることができます。 どこで使うかというと、、、高負荷時のシステムの挙動を見たい場合、AutoScaling等の負荷状況に応じて自動でスケールアップ/アウトさせるための仕組みのテストをしたい場合、部屋が寒いときにPCに発熱させたい場合ｗｗｗなどで使えるのかな、と。 Stressをインストール CentOSやRedHatの場合は、DAG(rpmforge)のリポジトリがあるので、ここのパッケージからインストールしましょう。 DAGをyumのリポジトリに追加する場合は、以下リンクから(CentOS5[x86_64]系の2010/05/14時点の最新版は)"rpmforge-release-0.3.6-1.el5.rf.x86_64.rpm"をダウンロードして、rpmインストールしま
Amazon EC2でハイメモリインスタンスの追加と、利用料金の値下げ、新サービスの追加 - 元RX-7乗りの適当な日々
少し出遅れた感の紹介ではありますが、Amazon EC2のインスタンスタイプで、ハイメモリタイプのサーバが追加されました。また、EC2のインスタンス料金の単価が11/1より値下げされます。 あと、それ同時に新サービスとして、MySQLデータベースをサービスとして提供するAmazon RDS (Relational Database Service)が発表されています。 インスタンスタイプの増加により、より用途に応じて利用の幅が広がったことと、利用料金の値下げが利用障壁の低下、利用継続(ライバルサービスへの牽制)となりうるのでしょうか。 ハイメモリタイプのインスタンス(High-Memory Instances)が追加 Amazon RDSのようなデータベース向きの仮想サーバ(インスタンス)としてなのか、メモリが従来のインスタンスの最大値のそれぞれ2倍、4倍となるハイメモリタイプのインスタン
bashのキー操作一覧まとめ - 元RX-7乗りの適当な日々
bashでは、"Ctrl"や"Esc"キーと組み合わせることで様々な操作ができるので、メモ代わりにまとめておきます。 よくやるのが「Ctrl + s」キーを押してしまうと、フリーズしたかのように見えるので一瞬焦ってしまう。そんな時は・・・ Ctrl + b カーソルを左へ1文字移動 (←キーでもOK) Ctrl + f カーソルを右へ1文字移動 (→キーでもOK) Esc + b カーソルを右へ1単語移動 Esc + f カーソルを右へ1単語移動 Ctrl + p historyの1つ前に入力したコマンドを表示 (↑キーでもOK) Ctrl + n historyの1つ後に入力したコマンドを表示 (↓キーでもOK) Ctrl + h カーソルの左1文字を削除 (BackspaceキーでもOK) Ctrl + d カーソルの右1文字を削除 (DeleteキーでもOK) Ctrl + a カー
Amazon EC2のWindows Serverを日本語化する方法 - 元RX-7乗りの適当な日々
以前紹介した通り、Amazon EC2では、Windows Serverを瞬時に低コストで動かすことが可能です。 わずか5分でWindows Serverを準備する(動かす)方法 (Windows Server on Amazon EC2) - 元RX-7乗りの適当な日々 しかし、Amazonから提供されているWindows ServerのOSイメージをそのまま稼動させると、↑のエントリで紹介した通り、OSの言語設定は英語となっていて、そのままでは日本語表示も日本語を扱うこともできません。 このままでは、何をするにしても日本人にとっては不便ですし、テスト環境などで使うにしても、アプリケーションで日本語を扱いたいときもあるでしょう。 というわけで、今回は、この"Windows Server on Amazon EC2"を日本語化する方法を紹介します。 前提 既に、Amazon EC2にてWi
Railsで、簡単に静的コンテンツのみを別サーバから配信する方法 - 元RX-7乗りの適当な日々
Webサービスでは、JavaScriptファイルや、スタイルシート(CSS)ファイル、画像ファイルなど、細々とした多くの静的コンテンツ(静的ファイル)を扱う場合が多々あるかと思います。 そんな中、公開しているサービスへのアクセスが少し多くなってきた場合、静的コンテンツの配信サーバを、アプリケーションが稼動しているサーバとは別のものにしたくなりますよね。 また、画面内でアイコン画像を多数扱う場合等、多くの静的コンテンツを配信している場合などは、複数の静的コンテンツ用の配信サーバを準備し、負荷分散させることを考えますし、Amazon EC2など、海外のサーバを利用してサービスを展開する場合、どうしてもネットワークの遅延がネックとなりますので、細かい静的コンテンツの配信のみは、国内のサーバを使ったりしたくなる場合もあるかと思います。 そんなとき、Railsでは簡単に設定1つで切り替えられる仕組み
"make install"したソフトウェアを管理できる超便利ツール「Paco」 - RX-7乗りの適当な日々
最近、Linuxではaptやyumなど、パッケージ管理ツールで多くのアプリケーションやライブラリが管理されるようになり、普通に利用している限りはソースからコンパイルして"make install"することがほとんどありません。 とはいっても、マイナーなソフトウェアをインストールしたりとか、まだパッケージ管理されていない最新バージョンのものを使いたい場合などは、ソースからコンパイルして"make install"をしたくなる場合も有るかと思います。 しかし、"make install"した場合の最大の欠点は、インストールしたソフトウェアの管理ができないことにあります。そのため、何が入っているのか分からなくなっているとか、アンインストールが出来ない、などのケースが起こりうるわけです。 特にアンインストールする可能性があるソフト(ほとんどのソフトがそうですが・・・)をインストールする場合は、わざ
Apache(SSL) + mod_proxy_balancerのバックエンドでRailsアプリケーションを動かす場合の注意点 - 元RX-7乗りの適当な日々
SSL(HTTPS)の使用が前提のもと、フロントエンドでApache(mod_ssl + mod_proxy_balancer)をリバースプロキシ(兼ロードバランサ)として動かして、そのバックエンドでlighttpdやmongrelを使ってRailsアプリを動かす場合のメモ。 何も考えずにRailsアプリに対してHTTPS接続を行い、アプリ内でリダイレクト(redirect_to)を行った場合、RailsアプリはHTTPSで接続されていることを知らないため、HTTPのURLへリダイレクトしてしまいます。 これを解決するためには、フロントエンドのApacheで、HTTPリクエストヘッダにHTTPS接続であることを指定することで、バックエンドのアプリに伝わるようにします。 # ↓のリンク先を参考にさせていただきましたm(_"_)m これに必要なのは、Apacheでmod_headersが組み込
UbuntuのデスクトップをMac OSX Leopard風にするチュートリアル - 元RX-7乗りの適当な日々
先日「LinuxのデスクトップをMacのようにドレスアップする（無料）」 を読ませていただいて、自分で実際にやってみたくなったので、UbuntuのデスクトップをMac OSX Leopard風にしてみました。 Mac買えばええやん、って言われそうだけど、Ubuntu(Linux)でどこまでやれるのか、実際に試してみたくなったのでトライ。 せっかくなので、方法というか手順をログとして残しておきます。 基本的に「http://maketecheasier.com/turn-your-ubuntu-hardy-to-mac-osx-leopard/2008/07/23/」を参考にさせていただいた(というか、ほとんどそのまま...)のですが、私の環境では一部上手くいかなかったり、部分的にハマったりしたので、その点の補足＆日本語訳くらいの感覚で参考にしていただければと思います。 気になるBefore
Amazon EC2/S3を使ってみた - まとめ (Amazon Web Services関連エントリ目次) - RX-7乗りの適当な日々
Amazon EC2/S3および、その他Amazon Web Servicesについて、具体的な使い方を中心に、これまでこのブログ内で色々とエントリを書いてきたので、このエントリに目次代わりとしてまとめておきます。 今後も関連エントリを書いた際に、以下に追記していきますが、場合によっては記載されている情報が古い場合もありますので、その点はご了承ください。(できるだけ気づいた時点で修正しています。) # 尚、ここで紹介しているエントリは、全て私(id:rx7)自身が書き記したものです。 基本の流れを知る Amazon EC2/S3を使ってみた - 1.AWSへの登録〜S3を使う Amazon EC2/S3を使ってみた - 2.EC2が起こすイノベーション Amazon EC2/S3を使ってみた - 3.EC2起動後〜AMI作成 Amazon EC2/S3を使ってみた - 4.EC2で固定IP
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
