EC2 AZ間のスループット計測 (netperf) - 雑多なインフラエンジニア日記
ここ(http://aws.amazon.com/jp/ec2/instance-types/instance-details/)に明確な数値が 書いてないので、インスタンスタイプ毎のAZ間のスループットを計測してみました。 東京リージョンの 1a から 1b、1c に対してnetperfで負荷を掛けています。 (AZはAWSアカウント毎にDC群が異なりますので結果は目安として下さい。) EIP間の通信ではない＆同一VPC内のプライベートネットワーク間の通信を 計測対象としています。 計測方法 ・各AZに small、large、xlarge インスタンスを立てて、 netperf -f M -H 対象ホスト でスループットを計測。 ・試行回数は30回とし、平均値を取得。 ・負荷掛け側/掛けられる側のインスタンスタイプは同じとする。 スループット計測結果 ・単位はMbps、30回の平均値。
Packerを使ってCentOS公式AMIから独自のAMIを作成する - okochangの馬鹿でありがとう
こんにちは、＠oko_changです。 以前の記事でPackerを使ってAmazon LinuxをカスタマイズしたAMIを作成しました。 同じような感覚でMarket Placeで配布されているCentOS公式のAMIを使ってみたら少しハマってしまったので、今回はその事についてメモを残しておきたいと思います。 環境 Mac OSX Packer 0.3.9 CentOS 6 (x86_64) - with Updates ハマったこと CentOS公式のAMIを使う上で必要な点を修正しつつ、同じようなjsonファイルを作成してPackerからAMIを作成します。 その後AMIからインスタンスを起動したところ、起動時に指定したキーとペアになる秘密鍵でSSH接続が出来ませんでした。 原因 PackerでAMIを作成した場合、作成する時に使用したテンポラリのSSH公開鍵はそのまま/root/.s
Route53を利用したフェイルオーバーシステムの作成 · さよならインターネット
June 6, 2014 AWSのRoute53サービスを利用し、冗長構成のあるシステムをつくる。 TL;DR 同一のレコードをPrimaryとSecondaryで作成し Primary、SecondaryそれぞれでHealth Check to Associateを設定する。 PrimaryのHealth Checkが失敗した場合、Secondaryに遷移する。 SecondaryもダメだったらPrimaryに変わる。 両方同じタイミングでダメになったらPrimaryのまま。 手順 Health Checkの設定 1. Health Checks にてヘルスチェック対象のホスト・サービスを設定 Health Checkを利用するレコードの作成 2-1. Hosted Zones にてフェイルオーバーを行いたいDNSを設定 2-2. Create Record Set にてレコードの作成(
AWS S3 のバケットに独自ドメインを割り当てて、静的ファイルをホスティング | Gatespace's Blog
以前、「AWS EC2 + 網元でWordPressサイトを構築」をいう記事を書いたのですが、静的なファイル群であれば同じAWSのS3を使って公開出来る＝ウェブサイトとしても活用できるので、その設定方法をメモしておきます。 AWS S3とは 元々はクラウドのストレージサービス（ファイル置き場）なのですが、静的ファイル（htmlや画像など）であればレンタルサーバーのようにウェブサイトを公開することが可能です。 料金は従量課金ですが、PHPなどの動的なファイルやデータベースなどを使わなければそこらのレンタルサーバーより低価格でホームページを公開出来ます。 詳しくはこちらをご覧ください 月額10円～でレンタルサーバーをはじめる方法 | アマゾン ウェブ サービス（AWS） S3バケットの作成 早速使える様にしてみます。 まずはManagement Console にログインし、S3をクリックし、
AWS Solutions Architect ブログ
AWSソリューションアーキテクトの舟崎です。 今回は自分で作成したChefレシピ単体をAWS OpsWorks（以下、OpsWorks）の環境で実行する方法について紹介します。こちらの方法は、作成したカスタムChefレシピを実際にインスタンス上で１つずつ実行して、問題なく動くかの動作テストや、あるいはレシピが正しく実行できないときには、そのトラブルシューティングなどの用途に使えます。その手順の大まかな流れは以下です。 カスタムChefレシピを作成 ソースコードリポジトリに作成したChefレシピをpush OpsWorks Stack / Layer / Instanceを作成、起動 作成したカスタムChefレシピをInstanceにチェックアウトさせて実行 以下詳細です。 １．カスタムChefレシピの作成 今回はシンプルにhello.txtをホームディレクトリに作成するだけの簡単なChef
Amazon Elastic Load Balancing (ELB)の内部構造および拡張・障害時の動き - プログラマでありたい
諸般の理由により、AWSの各サービスの挙動を改めて復習中です。まずは、Amazon Elastic Load Balancing 、通称ELBについてです。ELBの内部の動作については、公開されている公式ドキュメントが割とあります。是非一度しっかりと目を通しておくとよいですよ。少なくともAWSマイスターシリーズのELBについては、読んでおくべきです。簡潔にかつ詳しく説明されているので、理解が格段に進むでしょう。というところで、現段階で私が理解しているELBのアーキテクチャをまとめてみました。 ELBの内部構造 ELBは、ELBエンドポイントとELBインスタンス（仮称）によって構成されます。ELBインスタンス（仮称）の正式名称は知らないので、その名前で呼ぶことにします。ELBインスタンスには、グローバルIPが付与されます。ELBエンドポイントは、myLB-xxx.elb.amazonaws.
EC2 に SSH できない時の対処法、あるいは Marketplace の AMI を気軽に選ぶべきでない理由 · takus's blog
前半の部分をまとめようと思ったら、大切なことは全て @j3tm0t0 さんの gist に書いてあったので、SSH でログインできなくなった時はまず上記の gist に書いてあることを確認するといいと思います。 で、今回の話は、snapshot を取得して 新たに volume を作成して、他のインスタンスにアタッチ＆マウントしてエラーが出ていないかを確認しようとした時に下記のエラーでマウントできなかった件に関するお話です。 'vol-xxxxxxx' with Marketplace codes may not be attached as as secondary device. ググったら “Is it possible to rescue an EBS volume which has marketplace codes?” や “Marketplace codes may not
AWSでマルチAZなセッション管理DBを構築する5つのプラクティス | DevelopersIO
はじめに セッション管理が必要なWebアプリケーションサーバをロードバランシングやクラスタリングなどで負荷分散構成とした場合、セッション情報をデータベースに保持し共有化する方法が一般的です。しかしAWSのインフラストラクチャ障害などでAZが丸ごとダウンするようなケースを考慮した場合、Webアプリケーションサーバと共に、セッション管理DBも複数のAZに分散配置するのが望ましいでしょう。 ではAWSでセッション管理DBを複数のAZに分散配置する場合、どのような手段が考えられるのでしょうか。というのが今回のスタート地点です。 1.AZ分散配置しない いきなり前提を覆すような話をしますが、そもそもAZ分散配置が必要なケースは、AZが丸ごとダウンしセッション管理DBが使えなくなることがサービス停止に直結する場合です。 つまりアプリケーションが「セッション管理DBに接続出来ない場合はローカルのDBやフ
Amazon Redshift に COPY コマンドでCSVをインポートする - yoshidashingo
cloudpackエバンジェリストの吉田真吾（@yoshidashingo）です。 Redshiftに移行する際に既存のデータを投入したいことがあると思います。今日はそのやり方をメモ書き。 0. 前提 Redshiftのクラスタは作成済みである EC2からRedshiftに接続できるように Cluster Security Group が設定済みである EC2にawscli導入済みである 1. EC2からS3にデータをアップロードする 1.1 (準備)EC2にクレデンシャルを設定する $ aws configure AWS Access Key ID [None]: <アクセスキー> AWS Secret Access Key [None]: <シークレットキー> Default region name [None]: us-east-1 Default output format [No
AWS Solutions Architect ブログ
AWSのソリューションアーキテクトの荒木(twitter: @ar1)です。 Amazon EC2のElastic Load Balancing(ロードバランサ、以下、ELB)のSSLターミネート機能は非常にパワフルで、利用されているユーザも多いかと思います。今日は、その機能を安全に使い続けるためのELBのSSL証明書更新の方法をまとめておきます。 忙しい方向け ELBのSSL証明書更新について覚えておくことは次の３つです。 SSL証明書の更新はマネージメントコンソール、CLIかAPIで可能です。 基本セッション切れはありません。 古くなった証明書はAPIで削除します。 ELBを長年使っていると、SSL証明書の更新のタイミングを迎えることとなります。また、不幸にも更新をせざるを得ない事は起こりえます。そこで、ELBのSSLターミネート機能を使いはじめる前に知っておくことはだれにとっても有益
RDS: MySQLのログを取得する - aws memo
RDSのログファイルを取得出来るようになった Amazon Web Services ブログ: 【AWS発表】Amazon RDS - より簡単にログファイルにアクセス可能に ということで、RDS( MySQL )のログを取得する手順。 注意点として、RDS(MySQL)では4種類のログ（エラーログ、エラーランニングログ、ジェネラルログ、スローログ）にアクセスできるが、デフォルトではエラーログのみ有効となっている。 Working with MySQL Database Log Files - Amazon Relational Database Service 他のログを有効にするためには、Parameter Groupの以下を設定変更する必要がある。 パラメータ名デフォルト値変更値 general_log (null) 1 log_output TABLE FILE slow_quer
Sensuを使ってCloudWatchのメトリクスを取得する方法
全国200人くらいのSensuユーザーのみなさんこんにちは。 Sensuを使うと自分で自由に監視したりメトリクスデータの取得が可能ですし、他のシステムと組み合わせて監視を一元化することも可能です。 例えばAWSであれば標準でCloudWatchによる監視が行われますが、SensuとCloudWatchを別々に眺めるのは面倒なので、これを一元化する方法を紹介します。 おおまかな流れSensuでは監視結果やメトリクスの取得自体はSensu Client側で行われます。したがってチェック甩のスクリプトはクライアント側に配置しますSensu Server側では、あらかじめ監視やメトリクス取得の内容を定義します。その中では、監視の名前の定義、どのグループに属しているクライアントで実行するか(Subscriber)、どんなコマンドを実行するか、データを受け取った際にどのように処理するのか(Handle
新しくVPCを作ってインターネットと通信させる方法 - yoshidashingo
cloudpackエバンジェリストの吉田真吾（@yoshidashingo）です。 よく忘れるのでメモ。 デフォルトVPCにははじめからインターネットゲートウェイ(IGW)がアタッチされていますが、新しくVPCを作ってインターネットと通信できるサブネッと（パブリックサブネット）を作る方法。 手順は以下に記載されているとおり。 パブリックサブネットがインターネットにアクセスできるようにする - Amazon Virtual Private Cloud VPCを作成する サブネットを作成する インターネットゲートウェイを作成する インターネットゲートウェイをVPCにアタッチする サブネットに割当てられているルートテーブルで、ローカル以外（0.0.0.0/0）のターゲットをインターネットゲートウェイに設定する ルートテーブルにサブネットをAssociationする（※忘れがち） サブネット内に既
ヌーラボのインフラ運用最前線 〜イミュータブルを目指して〜 (前編) | 株式会社ヌーラボ(Nulab inc.)
このエントリは前後編に分かれています。前編は主に運用フローやそこでの工夫点、後編は実際の運用から得た知見や今後の課題といった内容です。 ヌーラボのインフラ運用最前線 〜イミュータブルを目指して〜 (前編) ヌーラボのインフラ運用最前線 〜イミュータブルを目指して〜 (後編) 最近はインフラ運用・DevOPS関連のトピックとして目にしないことはないくらい、「イミュータブルインフラストラクチャー」について様々な議論がなされています。私たちも昨年、継続的デリバリという文脈で、@IT の連載にてその基本的な考え方について紹介させていただきました。 さて、今年の二月にローンチをしたばかりのヌーラボのシングルサインオンサービス「ヌーラボアカウント」では、イミュータブルインフラストラクチャの一歩手前として、特定の変更を加える場合のみ、ごっそり環境ごと入れ替えるというやり方にてその運用をスタートしました。
cloudpack Night #9 を開催しました - yoshidashingo
吉田真吾（@yoshidashingo）です。 cloudpack Night #9 を開催しました。 http://www.zusaar.com/event/4817004 勉強会 RIのおトク度早見表作った / cloudpack篠田 AWSとRubyの小ネタ詰め合わせ / cloudpack山口 AWSで設計するときの最適なプロダクト選定について / cloudpack菊地 sensuさん いらっしゃーい / 川原さん RedshiftとFlyDataの話 / 藤川さん 今日はアットホームな勉強会 #cpnite pic.twitter.com/CzbSzFQ7nh— Shingo(吉田真吾) (@yoshidashingo) 2014年3月28日 ご参加いただき発表していただいた川原さん、藤川さん、ありがとうございました。 ブログとか cloudpack Night #9 - Ca
Sensuを使ってクラウド環境の監視を効率よく行おう - UNIX的なアレ
AWSなど様々な環境でサーバを管理してくると、すべて同一の監視ツールを使うのがなかなか難しくなってきます。そんなこともあり、私も定期的にいろいろな監視ツールを試しています。 http://nanapi.co.jp/blog/2013/09/11/monitor_nanapi_servers/ nagiosとクラウドの相性が悪い！ 監視するには様々なツールがありますが、その中でも特に有名なツールはnagiosでしょう。古くから使われているツールで、プラグインも数多くあり様々な監視を行うことができます。 クライアント側にnrpeをインストールすることで、各ホストの詳細の状態まで監視することができますし、うまく活用すればかなり細かい監視までできます。 しかし、AWSのようなクラウド環境で使うには非常に使いづらいです。というのも、nagiosはサーバ側にどのホストを監視するのかという情報を持たなけ
SensuのCommunity Pluginの一覧(日本語版)
全国1億2000万人の監視マニアのみなさん、こんにちは。 Sensuは、非常にシンプルなアーキテクチャーで、さまざまなカスタムスクリプトを使っていろいろな監視を行ったり、メトリクスデータを取得することができます。メトリクスデータはさらにGraphiteなんかに送信してあげれば、どんどんグラフ化できます。このあたりの話が前提になっていますので、Sensuってなにそれ？な方は先に「Sensuを使って自由度の高い監視システムの構築を行う方法」をご覧ください。 チェックスクリプトを書くのは非常に簡単ですが、SensuではCommunity Pluginという形で非常にたくさんのプラグインが既に公開されていますので、今日はそれを紹介します。 Community Pluginの入手なにも考えず、git clone https://github.com/sensu/sensu-community-plu
Immutable Infrastructure Conference #1 に参加してきた #immutableinfra | DevelopersIO
Immutable Infrastructure Conference #1 : ATND 2014/03/25 Immutable Infrastructure Conference #1 #immutableinfra - Togetterまとめ 最近は最早バズワード化した感も充分ある『Immutable Infrastructure』。この長〜いフレーズを発音する際に途中発音を噛む人が後を絶たない今日この頃、皆様いかがお過ごしでしょうか。(発音に悩んでいる、何とか噛まないようにしたい！という方は以下のエントリを参考にしてみる事をお勧めします) [小ネタ]噛まずにImmutable Infrastructureと言うために ｜ Developers.IO さて、本題です。こちらの『Immutable Infrastructure Conference #1』、発表と同時に参加応募者が殺
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Memcached In A shell Using nc And echo – KutuKupret
/dev//dev/hvc0: No such file or directory | HAWSクラウドサービス