デブサミ2016「大規模Redisサーバ縮小化の戦い」講演メモ #devsumi - 元RX-7乗りの適当な日々
メモメモ。泥臭い話で面白かったです。 「大規模Redisサーバ縮小化の戦い」 駒井 祐人 氏 (株)アカツキ ゲームのサーバサイド機能開発、インフラの設計構築・保守運用 Redisとは インメモリDB 5種類のキーバリューのデータ型 ファイル永続化オプション システムの問題点 EC2サーバが20台に対して、AWSのElasticCache(Redis)が64台あった なぜ64台あったかというと、リリース直後にRedisの負荷問題があり、8台 => 64台になった 調査するとkeys("")を実行している箇所があった 当然お金がかかる(cache.m3.large * 64台 = 約135万円/月) 冗長化しんどいし、設定ファイルの記載も辛い ので、縮小化と冗長化の対処をしたい 現状整理 格納されているデータ フレンド情報、セール情報、ランキング情報 キーの件数 1サーバに8DB、1DBあた
Amazon Web Servicesが日本に上陸！というわけで早速レイテンシやスループットを測ってみた - 元RX-7乗りの適当な日々
誰もが待ち望んだ、Amazon Web Servicesの日本展開！東京リージョンが今日発表され、既に稼動中です。 http://aws.typepad.com/aws_japan/2011/03/now-open-aws-region-in-tokyo.html というわけで、早速使ってみたのですが、これはもう期待通り！快適です。 計測に使ったのは、"ap-northeast-1a"(まだ単一のZoneみたいですね)の「Amazon EC2」のHigh-CPUインスタンスと、"Tokyo"の「Amazon S3」です。 from OCN系ISP (神奈川県川崎市) からEC2インスタンスのRTT $ ping ec2-175-41-196-194.ap-northeast-1.compute.amazonaws.com PING ec2-175-41-196-194.ap-northea
psコマンドでスレッドを表示させたり、スレッドごとのCPU使用率を確認する - 元RX-7乗りの適当な日々
今更なネタかもしれませんが、psコマンドでは通常プロセス単位での表示となりますが、"man ps"を読んでみたところ、"-L"等のオプションをつけることで、スレッドを表示することもできるようです。 スレッド表示 H スレッドをプロセスのように表示する。 -L 可能ならば LWP と NLWP カラムをつけてスレッドを表示する。 -T 可能ならば SPID カラムをつけてスレッドを表示する。 m プロセスの後にスレッドを表示する。 -m プロセスの後にスレッドを表示する。 Man page of PS では、早速試してみましょうか。 普通に"ps -ef"を実行 $ ps -ef | grep -e mysqld -e PID | grep -v grep UID PID PPID C STIME TTY TIME CMD root 4570 1 0 Dec09 ? 00
株式会社サイバーエージェントに入社しました - 元RX-7乗りの適当な日々
一ヶ月前の"退職のお知らせ"以後、いくつかありがたいお話をいただいたり、次の職場はどこですか？と聞かれることも多いため、報告させていただきます。 本日、2010年9月1日より、株式会社サイバーエージェントにて働かせていただくことになりました。 主にインフラエンジニアとして、Ameba系サービスのバックエンドに携わることになりそうです。 正直なところ、1年前の私だったら、この選択は無かったと思います。(この話をした皆さんからも驚かれることが多いです...) しかし、ここ1年で外部の色んな方々とお話をさせていただいたり、私自身もエンジニアリング以外でも様々な経験が得られたこともあったり、また、活動を通じて中の方と数度お話をさせていただく機会を設けていただき、検討を重ねた上で、企業および組織、そして私自身が共に成長していける材料が十分にあると判断し、この選択を採りました。 ・・・もっと詳しい話が
Apacheで特定ホスト以外からのアクセスをメンテナンス画面にする方法 - 元RX-7乗りの適当な日々
Webサイトをメンテナンスする際に、一般ユーザからは「メンテナンス中」画面を、管理者・開発者からは通常のサイト画面を出すようにするApacheの設定は以下な感じ。 "mod_rewrite"(モジュール)がLoadされていることが前提です。 ErrorDocument 503 /503.html RewriteEngine On RewriteCond %{REQUEST_URI} !^/503\.html RewriteCond %{REMOTE_ADDR} !^192\.168\.0 RewriteRule ^(.*)$ - [R=503,L] 上記例では、"192.168.0."で始まるプライベートIPアドレス全てをアクセス許可にしていますが、必要に応じてアクセス元の対象を絞るようにしてください。 メンテナンス画面は、503のHTTPコードを返すことで、サーチエンジンにインデクシング
元RX-7乗りの適当な日々
2024-02-25 自宅のエコキュートが急に故障 → 買い換えた話 住 お買い物 1月の某金曜日の話。事件勃発。朝、エコキュートに見覚えのないエラーコードが表示され、お湯が作られていないことに気づいた。オール電化の我が家にとって、お湯がタンクに溜まらず、給湯されないことは、家族が入浴できない・お湯を使った洗い物ができない… 2024-01-27 オーダー(注文)していた車が、注文書と違う仕様でオーダーされていた話 車 雑記 以前 (2022年5月) に、自動車をオーダーした話を書きました。今回のエントリは、その時の注文の内容とは違う仕様でオーダーされていたという話です。ちなみに本件はディーラーとの対話により解決済みです。 もし同じようなことが起こった場合に、1つのケース… 2024-01-14 Volkswagen GOLF 8 R 試乗 車 昨年末に帰省した際に、友人のY氏が、新しい
iPhone4を買った＋諸々 - 元RX-7乗りの適当な日々
6/16にSBショップで、iPhone4の32GBブラックモデルを予約してから、およそ3週間たって、ようやく入荷連絡がきたので受け取ってきました。 予約時には64,800円(機種変のため300円 x 24か月分が上乗せされた形)と聞いていたのですが、孫さんのこのTweetの効果か、無事57,600円で購入。今回も一括で。(ヨドバシカメラで購入したので5%ポイント付) 既に多数の方がWebでレビューされているのと、私が感じたことは以下リンク先で詳細に書かれているので、そちらをｗ ASCII.jp：iPhone 4 最速レビュー！ すべてを変えるスゴさを体験 (1/4) といいつつ、私も少し書いておくと、、、 ガラス/ステンレスで覆われた筐体の質感は抜群に良い。 つい触りたくなる。が、指紋は気になる。(のでフィルムを...) 持っての操作のし易さは、iPhone3G(S)が上かな。角ばったシャ
Amazon EC2の「Cluster Compute Instances」を使ってみた(High Performance Computing向け) - 元RX-7乗りの適当な日々
先日、Amazon EC2の新しいインスタンスタイプで、ハイパフォーマンスコンピューティング(HPC)向けの「Cluster Compute Instances」が発表されました。 特筆すべきは、 Cluster Computeは標準的なEC2より処理パワーが向上しており、クラスタの計算ノード間のネットワーク接続が高速化して通信が向上しているという。一方で、顧客の利用に応じた料金支払いというサービスの理念は維持されており、利用が増えると料金は増加する。 このクラスタサービスは、Linuxと顧客のソフトウェアを多様に組み合わせて利用でき、作業を独立した複数ピースに分割し同時に実行する平行タスクに最適だ。 アマゾン、スパコンの計算能力をウェブサービスで提供 - CNET Japan といった、高い計算処理能力とノード間での処理連携を前提にしている点。 HadoopなClusterや、Amazo
「Web開発者のための大規模サービス技術入門」を読んだ - 元RX-7乗りの適当な日々
はてなさんの技術知識/ノウハウが詰まった大規模Webサービスを支えるための技術書。著者/編集者様より献本いただきました。id:naoyaさん、id:stanakaさん、そして技術評論社さん、ありがとうございます！ [Web開発者のための]大規模サービス技術入門 ―データ構造、メモリ、OS、DB、サーバ/インフラ (WEB+DB PRESS plusシリーズ) 作者: 伊藤直也,田中慎司出版社/メーカー: 技術評論社発売日: 2010/07/07メディア: 単行本（ソフトカバー）購入: 80人 クリック: 1,849回この商品を含むブログ (133件) を見る このブログでもお世話になっている、はてなさんのWebサービスは今や月間ユニークユーザ数は1500万人超とのこと。大きなトラフィックを支える多くの技術要素は一日一晩で身につくものではありません。この書籍では、はてなのサービスを題材として
Amazon EC2でサーバを起動したらアタックされた！ので、運用前にチェック・対策しましょうという話 - 元RX-7乗りの適当な日々
クラウドを使っていたら、こんなことがありました。(実話) Amazon EC2用の固定IPアドレス(Elastic IP Address)を取得する Amazon EC2でサーバ(インスタンス)を起動する 先ほど取得した固定IPアドレスを、EC2のサーバに割り当てる EC2のサーバでApacheを起動する Apacheのプロセス数がいきなり250個オーバーになる(MaxClientsの値にぶつかる) Apacheのログを見ると、常識を超えた連続HTTPアクセス(DoSアタック)を受けていることが判明 EC2で、別の固定IPアドレスを取得する 取得した別の固定IPアドレスを、(アタックを受けている)EC2のサーバに割り当てなおす 静けさを取り戻す ← imkk いやー、噂には聞いていましたが、何気に初めて遭遇しました。 クラウドサービス(IaaS等)では、別のユーザが以前に利用していたIPア
Apache+Passenger(Rails)環境で「AllowEncodedSlashes」を有効にしたい場合 - 元RX-7乗りの適当な日々
# ググったけど、日本語での情報がなかったので書いておく。 Apacheでは「Apacheでパラメータに「%2F」(/の符号化文字列)が含まれていると404(Not Found)が返される」のエントリで書いた通り、"AllowEncodedSlashes"ディレクティブを利用することで、符号化された"/"(スラッシュ)文字「%2F」を扱うことが出来ます。 これは、Railsアプリケーションを稼動させているApache + Passenger環境でも可能なわけですが、Passengerのバージョン2.2.5以降では、以下のPassengerの設定「PassengerAllowEncodedSlashes」もあわせて記述する必要があります。 PassengerAllowEncodedSlashes on 上記を有効にする場合は、Passengerのドキュメントにも記載されていますが、"Allo
「ベンチャーCTOだらけカンファレンス vol.1」(CTO48)に参加してきた+Ust一覧まとめ - 元RX-7乗りの適当な日々
行ってきました。ベンチャーのCTO(もしくはCTO的な方)が52人も集まるという大々的な豪華イベント。 Twtvite | Social Event Platform ギークも会社もハッピーにするCTOｶﾞﾝｶﾞﾚ なカンファレンス。開発好きとベンチャー好き200人くらい集まってCTOたちを囲んでわいわいします。別名： CTO48. Twtvite | Social Event Platform 今までにない刺激的なイベントだったと思います。凄かったな。 Photo 開演前の様子。参加者250人！ オイシックスさんのナスとエリンギさんが、「極生フルーツコーン」をプレゼントしてくれた！(↓別エントリで！) 極生フルーツコーンを食べた - 元RX-7乗りの適当すぎる日々 - Blo.G M7:「ギークのキャリア論−35歳は限界か？」の様子。結構すごい面子です。(後述) 懇親会の様子。途中から交
第2回 AWS User Group - Japan 勉強会に参加してきた - 元RX-7乗りの適当な日々
第1回に引き続き参加してきました。AWS(Amazon Web Services)のUser Groupによる勉強会。 前回同様、大盛況でしたね。150名定員に対して213名ものエントリ。 第2回 AWS User Group - Japan 勉強会 : ATND で、ブログに報告を書こうと思ったら、Twitterでの簡潔なメモ書きがあるやん。ということで、Twitter記法を試してみたくなったので、そのままペタっとペーストしてみます。 ちなみに当日の会場の雰囲気はこんな感じ。 当日の私のTweet ちなみに、私のtweetは、個人的な興味への反応を示した部分だけを掻い摘んで書いているので、その点はご了承ください。 ※ 下から上へに時系列になっています。 関連リンク JAWS-UG（AWS Users Group – Japan） まとめ Amazon EC2/S3を使ってみた - まとめ
ec2-api-toolsでRegionを設定(固定)する - 元RX-7乗りの適当な日々
いつも忘れてしまうのでメモ。 ec2-api-tools(Amazon EC2のコマンドラインツール)を利用する場合、インスタンス(仮想サーバ)起動/停止など、各コマンドをそのまま(デフォルトのまま)実行すると、"us-east-1"のRegion(ロケーション)が対象となります。 よって、"us-west-1"や"ap-southeast-1"のRegionを使いたい場合は、各コマンドで個別に"--region"オプションを付けて実行してもよいのですが、面倒くさいというか忘れてしまうので、今回は"us-west-1"だけの作業をする！といった場合は、あらかじめ環境変数に食わせてしまうと、毎回Regionの指定をしなくてすむので便利です。 設定方法 で、本題。以下のように、"EC2_URL"という環境変数名で設定すればOK。 $ export EC2_URL=https://ec2.us-
Amazon EBSからブートしたEC2インスタンスのディスク容量を増やす＆エフェメラルディスクを取り付ける方法 - 元RX-7乗りの適当な日々
Amazon EBSは、永続的にデータを保持できるボリューム(ディスク)が扱える、Amazon EC2のストレージオプションです。 通常(instance-store)のAmazon EC2のサーバローカルに接続されているディスクは、良くも悪くも停止時(terminate)にデータが消えてしまいますが、Amazon EBSのストレージをルートパーティションとしてインスタンスを起動(EBSブート)した場合は、停止(stop)してもデータは保持されたままとなり、ディスクに対する信頼性は向上します。(instance-storeからのブートにも良い点はあります。それは別エントリで。) で、EBSブートのEC2インスタンスは、既存の(EBSブート用の)AMIから利用される方が多数だとは思いますが、このEBSブートした仮想サーバのルートパーティションのディスク容量は、デフォルトでは、AMIを作成した
Amazon Web Servicesのシステムアーキテクチャを少しばかり推察する - 元RX-7乗りの適当な日々
「Amazon Web Services関連の求人」のエントリでも紹介しましたが、Amazon Japanが技術者(エンジニア)に関する求人を募集しています。 Amazon エンジニア特別求人情報 その中の「データセンターテクニシャン」という職種の募集要項を眺めていると、当然ですが、どういった技術要素やスキルが求められているかが記載されており、Amazon Web Services(に限らないかもしれませんが)やAmazonのシステムアーキテクチャの一部を何となく推察することができます。 via. データセンターテクニシャン/ Data Center Technician In the hiring of a Data Centre Technician, we are looking for an individual with experience across the followi
書籍「AmazonCloudテクニカルガイド」を読んだ - 元RX-7乗りの適当な日々
「遅れてしまいましたが...」というメッセージと共に手元に届いた1冊の書籍。Amazon Web Services関連の最新書籍を、著者/編集者様より献本御礼。ありがとうございます！ AmazonCloudテクニカルガイド ―EC2/S3からVPCまで徹底解析― 作者: 李昌桓出版社/メーカー: インプレス発売日: 2010/04/23メディア: 単行本（ソフトカバー）購入: 5人 クリック: 157回この商品を含むブログ (13件) を見る 今更、改めて書くまでもないのですが、Amazon Web Servicesは、数あるクラウドサービスの中で、おそらく世界最大手のパブリッククラウドサービスであり、日本でも多くの注目を集めています。 Amazon Web Servicesと言えば、Amazon EC2(サーバインフラストラクチャ)やAmazon S3(ストレージ)が特に有名ですが、規模
米政府機関「Recovery.gov」がAmazon EC2に全面移行とのこと - 元RX-7乗りの適当な日々
US Recovery Accountability and Transparency Boardと呼ばれる組織が運営するサイト「Recovery.gov」がクラウド環境へ移行すると発表されており、そのホスト先がAmazon EC2であるとのこと。 ソースは以下です。 White House moves Recovery.gov to Amazon's cloud - O'Reilly Radar http://www.whitehouse.gov/blog/2010/05/13/moving-cloud # 私は、こちらのエントリで知ったのですが。 「Recovery.gov」がどんなサイトであるかを調べてみると、、、 バラク・オバマ米大統領が署名して成立した景気対策法の内容を米国民に伝えるためのオンラインポータルだ。7870億ドル(約72兆円)の使途を説明するチャート、景気刺激策のスケ
最近の対外活動履歴(2010-Spring) - 元RX-7乗りの適当な日々
昨年は、書籍執筆(2冊)に寄稿・講演多数と、アウトプットだらけの年だったので、今年はインプットの年として礎を築こうと決意した元旦。 # (2010/01/01) 迎春2010 - 元RX-7乗りの適当な日々 駄菓子菓子！ 何だかんだで、今年に入って、この5ヶ月で色々とアウトプットもしているので、最近の活動履歴として記しておこうかと思います。 (執筆・講演依頼や、その他ご連絡については、右サイドメニュー上部のメールアドレスまで、お気軽にお願いします。) 寄稿 クラウドきほんのき | 日経SYSTEMS (第7回) Amazon EC2/S3 (概要編) | 日経SYSTEMS 2010年1月号 http://ec.nikkeibp.co.jp/item/backno/OS0201.html 日経SYSTEMS(クラウドきほんのき)で連載をはじめました - 元RX-7乗りの適当な日々 (第8回
簡単にクラウドでDB(MySQL)環境が使える！Amazon RDSの使い方 - 元RX-7乗りの適当な日々
先日「Amazon RDS」に他ロケーション(Zone)で自動フェイルオーバーできるオプションが追加され、より実用性が高くなりました。また、"AWS Management Console"からの、Amazon RDSの利用がサポートされたことにより、利用の敷居もグッと下がりましたよね。 Amazon RDS – Multi-AZ Deployments For Enhanced Availability & Reliability | AWS News Blog MySQLに自動フェイルオーバー機能を追加したAmazonクラウド。オンラインのままパッチ当てやバックアップも － Publickey AWS Management Console Now Supports the Relational Database Service | AWS News Blog それに伴って、以前私が"@I
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
