はてなブックマーク

Amazon Linux AMI 2014.03 出ました！ Dockerが標準レポジトリに入ったことですし、せっかくなのでAmazon Linux AMIのbaseイメージを作ってみた。 準備 アップロードの時にネットワーク的に近くて良さそうなので、us-east-1リージョンで作業を行います。 AMI は amzn-ami-minimal-pv-2014.03.0.x86_64-ebs (ami-5573643c) を使います。 Management ConsoleでもAWS CLIでもよいですが、blockdevice mappingの指定が楽なので旧API Toolsで起動。 $ ec2-run-instances --region us-east-1 -k KEYPAIR -g GROUP -b /dev/sdf=snap-bb9e9f63:10:true ami-5573643

以前に NATインスタンスを冗長構成にしてみた - log4moto という記事を書いたが、これはRouteTableの書き換えは行うが、インスタンスのリプレースまでは行わないものだった。 今回は "障害発生時に自動的にインスタンスを入れ替える" ために、AutoScalingを利用してみた。 構成図 下準備 VPC内のNATインスタンスへの経路が必要なRouteTableにNATタグを作成、Valueには所属するAvailabilityZoneを指定しておく EC2の modify-instance-attribute describe-route-tables delete-route create-route が行えるIAM Roleを作成する ヘルスチェック用のELBを作成する 今回はELBを利用してヘルスチェックを行いたいと思います。 名前はnatwatcherで作成しました。外

これまでCross-Account Accessを使いたい場合にはSDKを使ったりしていたが、ちょっとしたコマンドを実行したいだけなのにSDKを使うのは面倒だなーという事で、AWS CLIだけでCross-Account Accessを使う方法を考えてみた。 用意するもの AWS CLI AssumeするアカウントのIAM User (ポリシーはSTSのAssumeRole権限のみ必要です) AssumeされるアカウントのIAM Role arn:aws:iam::222222222222:role/cross (上記アカウントをTrustしている必要があります) 詳しくはこちらを参照の事。 AssumeRoleのテストをしてみる AssumeするアカウントのIAM UserのCredentialを設定した状態で、下記のようなコマンドを実行してみます。 $ aws sts assume-r

AWSの様々な通知に使用されているSNSというサービスがありますが、メーリングリストなどで受信した誰かが通知のリンクをうっかり踏んでしまうと、 みたいな画面が表示されてしまったが最後、その後の通知は全く来なくなってしまって、障害アラートに気付かないなんて事が起こります。 こんな悲劇を繰り返さないために、SNSの通知を簡単にはunsubscribe出来なくする方法をご紹介します。 用意するもの AWS CLI 何をどうするか SNSのAPIには、ConfirmSubscriptionアクションがあり、任意指定オプションにAuthenticateOnUnsubscribeという項目があります。 AuthenticateOnUnsubscribe Disallows unauthenticated unsubscribes of the subscription. If the value of

S3では簡単に静的コンテンツのwebsiteをホスト出来る機能があります。これを利用して１分でwebsiteを作成する方法をご紹介します。 まずは動画をご覧下さい。 簡単な使い方 example.s3w.jp を作成するとします。 S3でTokyoリージョンにexample.s3w.jpというbucketを作成します。 次にbucketのpropertyからstatic website hosting設定を有効にします。 index.htmlファイルをアップロードします。 index.htmlファイルをPublicに設定します ブラウザからアクセスします どのように動いているか s3w.jpというドメインを取得しました s3w.jpドメインはRoute53上でホストしていて、*(ワイルドカード).s3w.jp を Tokyoリージョンのwebsite endpointにCNAMEしています

EC2のWindowsインスタンスはデフォルト設定ではリモートオーディオ再生に対応していないので、音声を再生できるようにしてみた。 Windows Server 2012編 まず、タスクトレイの×印の付いているスピーカーアイコンをクリックすると「Audioサービスが実行されていません。」との表示。 右クリックからサウンドを選ぶと... オーディオサービスを有効にするか聞かれるので、有効にします。 これで音が出るようになります！ Windows Server 2008 R2編 Windows Server 2008 R2以前では、オーディオサービスを有効にするだけではダメです。リモートデスクトップで音声のリダイレクトが出来ないように設定されているので、下記のようにして音声リダイレクトを有効にする必要があります。 スタートメニューの管理ツールからリモートデスクトップ→リモートデスクトップ セッ

Amazon VPC VPN接続の作成〜設定投入を自動化してみました。 昨日のTwitterでの会話( RTX1100 からVPCに接続した記録 - petachの日記 に関して) できる、はず。やってみよう。 コンフィグファイルの自動生成方法 ec2-describe-vpn-connectionや、ec2-create-vpn-connectionでは、引数に--formatを渡す事で色々な機器用の設定ファイルを得る事ができます。この際にXMLを選ぶと、--stylesheetでXSLTスタイルシートを指定できます。 これを利用して、Vyattaに投入するコマンドを生成して、sshで流し込んでしまおうという魂胆です。 XSLTファイルはこちら。 コンフィグファイルの自動投入方法 前提 EC2 API Toolsがインストールされていて、Vyattaにsshが鍵認証で行えるホストから実行

AWS各種CLIツールをgithubで管理するようにしてみました。 以前の記事で AWS CLIツール管理法 - log4moto EC2 API Toolsの認証をアクセスキー認証に変えてみた - log4moto のようにCLIツールの管理方法を記事にした事がありました。 今回githubで管理するようにしてみました。 セットアップ 簡単に使いだすには、 $ git clone https://github.com/j3tm0t0/awsenv.git ~/.aws $ . ~/.aws/env $ key hogehoge /Users/j3tm0t0/.aws/keys-hogehoge does not exist. input AWSAccessKeyId : AWSACCESSKEY input AWSSecretKey : AWSSECRETKEY using keys-h

帰省中にとあるサービスを利用するために、VPN(IPsec/L2TP)を構成してみた。 最初Vyatta Core 6.5を使って構成してみようと色々やってみたが、うまくいかない。どうやらVC6からそれまでのOpenSwan->StrongSwanになってから、双方がNAT配下の場合にうまく繋がらないようだ(参考)。 NATが前提のEC2の場合はあきらめた方が良さそうなので、Amazon Linux AMIにOpenSwanを入れて構成しようとしてみる。 必要なもの openswan xl2tpd Amazon Linux AMIのレポジトリにはxl2tpdがないので、epelレポジトリから入れます。 $ sudo yum install --enablerepo=epel openswan xl2tpd 設定 あとはsuz-labさんの記事を見つつ、iOSがdelete notifyを送

Amazon Linux AMI 2012.09より、複数のENIを使用した際の自動設定が非常に賢くなっているので、もう一度追加ENIについて考えてみた。 Amazon Linux AMIを使用した検証 論より証拠。まずは動かしてみましょう。 VPCを作成します。 VPC: 10.0.0.0/16 Subnet1: 10.0.1.0/24 Subnet2: 10.0.2.0/24 Subnet3: 10.0.254.0/24 Subnet1&2 共通RouteTable 10.0.0.0/16 local 0.0.0.0/0 igw-xxxxxxxx Amazon Linux AMI (2012.09バージョン)を起動します。 AMI: amzn-ami-pv-2012.09.0.x86_64-ebs (ami-4e6cd34f) ENI: １つだけ (10.0.1.4のIPアドレスを指定

Instance Types - Amazon Elastic Compute Cloudによれば、m2.4xlargeなどのインスタンスタイプでは 8ENI x 30IPs(/ENI) = 240のIPアドレスを使用する事ができる、とあるので実際に試してみた。 必要な物 EIP上限解除申請 必要な数のEIPを確保するため、250個のEIP上限申請を行った → http://aws.amazon.com/jp/contact-us/vpc-request/ 7つのENIを作成 m2.4xlargeインスタンス(Amazon Linux 2012.09を使用) 240個のEIP取得(こちらのスクリプトで取得しました) 構成を決める VPCを10.1.0.0/16で作成、PublicSubnetを10.1.0.0/24で作成した。インスタンスに振る事のできるPrivateIPアドレスは10.1

１台のルータから、(同一リージョンの)２つのVPCへ接続したいというニーズがあると思われるので、試してみました。 用意するもの 仮想ルータ機能を持つルータ 今回はJuniper SSG5を利用しました。LAN側のCIDRは192.168.1.0/24となっています。 ２つのグローバルIPアドレス 今回はフレッツのISPを２つ用意しました。 VPCを２つ CIDRは異なるようにしておきましょう。今回は172.21.0.0/16と172.20.0.0/16を使用しています。 ネットワーク構成 こちらのような構成となります。 下準備 ルータを初期化した所から始めます。 インターフェース 用途 Zone VirtualRouter ethernet0/0 ISP1 Untrust1 untrust-vr ethernet0/1 ISP2 Untrust2 untrust-vr2 bgroup0(e

Vyatta Core 6.1のAMIはあるが、6.3のが見当たらなかったので作ってみた(出来た東京リージョンのAMIはami-0204b003)。 ■追記(2012/01/28) 他のリージョンにも同等AMIを作成しました ami-0204b003 (ap-northeast-1) ami-5c1d590e (ap-southeast-1) ami-3d1b4278 (us-west-1) ami-6c56db5c (us-west-2) ami-eda67784 (us-east-1) ami-87457bf3 (eu-west-1) ami-c84d92d5 (sa-east-1) 作業全体の流れ ローカル(VM)にインストールする ローカル(VM)で最低限の設定をする インストール後のdiskイメージをEBS snapshotにし、AMI登録する EC2用にカスタマイズする ローカ

Wizardによる標準構成のVPCにおいてNATインスタンスはSPOFであり、インスタンス障害や、単一AZの障害、AZ間接続障害によっても両AZのインターネット接続性が損なわれる可能性がある。そこで、NATインスタンスをAZ毎に用意し、障害発生時にfailoverする仕組みを考えてみた。 方針 なるべくAWSの１リージョン内で完結し、別リージョンや外部に監視用ホストなどをおかない 瞬間的にフェイルオーバーはおこなわず、毎分ごとにインターネット上のターゲットIPへの疎通を確認し、障害と思われる状態になったらフェイルオーバーを行う 疎通が回復したと思われた場合には、元の状態に戻す 構成 非常にわかりづらい図になっていますが、構成要素としては Subnet x 4 (Public, Private を AZ毎に１つずつ) NATインスタンス x 2 (AZ毎に１つずつ、当然ElasticIPも1

id:winebarrel さんの 「Security GroupをGraphvizで可視化する」のエントリを見て感銘を受けたので、VPCのsubnetを可視化してみました。 スクリプトはこちらにおいてあります。 使い方は、AWS_ACCESS_KEYやAWS_SECRET_KEYが指定してある状態で、 $ ./vpcgraph.py usage : ./vpcgraph.py vpc-xxxxxxxx available vpcs: vpc-12345678 $ ./vpcgraph.py vpc-12345678 | dot -Tpng > vpc.png $ open vpc.pngみたいな感じです。 実行結果はこんな感じになります。 おまけ デフォルト状態のbotoだとEC2のリージョン指定が面倒なので、下記のようなパッチを当てました。 これを当てておくと、EC2_REGION環境

某イベントでもこっそり使っていましたが、Node.jsをBeanstalkで動かしてみました。 Beanstalkが東京上陸したので、東京にもAMIを作成してみます。 AMIの作り方はいいから早く動かしたいぜ、という人は次のエントリをどうぞ！ 準備 PHPのAMI(ami-32358433 PHPBeanstalk64-2012.03.30)を元に作業をします。 SecurityGroupでssh, httpと、3000を開けておいてください。 nvm導入 nvmを導入します (参考: Node.jsとnvmを初めてインストールするときのハマりポイントと対策 - ess sup) [ec2-user@ip-10-153-59-170: ~] $ sudo yum install -y openssl-devel [ec2-user@ip-10-153-59-170: ~] $ sudo s

ふと思いついて、Amazon Linux AMIのrootパーティションをRAID1にしてみました。 準備 作業用インスタンスを起動(ami-e47acbe5 amzn-ami-pv-2012.03.1.x86_64-ebsをベースにしました)。 $ ec2-run-instances -g SecurityGroupName -k KeypairName -b /dev/sdb=ephemeral0 -b /dev/sdc=ephemeral1 -b /dev/sdd=ephemeral2 -b /dev/sde=ephemeral3 -b /dev/sda2=:10:true -b /dev/sda3=:10:true -b /dev/sdf=snap-54601b39 -b /dev/sdg=:1:true -t m1.large ami-e47acbe5block deviceは下

S3のアクセスログをEMRを使って簡単に解析してみた。 rubyのstreamingでちゃちゃっと書きました。 スクリプト index.htmlを叩いた時のIPアドレスを抜き出すmapper IPアドレスからドメインを判断するmapper いろいろ試行錯誤しながら作ってたので、ごちゃごちゃしてます。TLDや汎用JPドメインだったときには後ろ２つ、それ以外は後ろ３つをドメイン名として採用。名前解決できなかったときは第三オクテットまでを取ってます。 共通で使えるreducer 使い方 $ emr --create --stream --step-name ip --input s3n://bucket/access_log --output s3n://bucket/output.tmp --mapper s3n://bucket/ip_mapper.rb --reducer s3n://bu

初期状態のAWS Elastic beanstalkでは、CGIを動かす事ができないので、動かせるようにしてみた。 準備 前回の記事を参考に、php5アプリケーションをdeployして環境を動かしておきます。 CGIを置いてみる ひとまず試しにCGIファイルを置いてみます。 ~/work/php5 $ cat test.cgi #!/usr/bin/perl print <<EOF; Content-type:text/plain this is cgi test on beanstalk EOF ~/work/php5 $ chmod +x test.cgi ~/work/php5 $ ./test.cgi Content-type:text/plain this is cgi test on beanstalk ~/work/php5 $ git add test.cgi ~/work

VPCでENIが実現されてからしばらく経ったので、いろいろ試した上で出た考えをまとめてみた。 最初に ライセンスサーバなどを持つ目的でMACアドレスを固定したい、というニーズについては確かに存在するので、これについては、是非使いましょう！ NIC２枚刺しをする目的 オンプレ環境でNICを２枚刺す場合には、以下のような前提や動機があると思われる アドレス空間が違う(Public IPを使うセグメント、Private IPを使うセグメント) それぞれのセグメントの間にルータがないため、直接通信ができない ネットワーク通信のパフォーマンスや冗長性を向上させる(bondingや、WebとDBのトラフィックを分けるなど) バックセグメントを作ることでセキュアになる しかしVPCではENIを使ったとしても、 そもそもすべてPrivateアドレス空間である Subnet間にはRouterがあるので、デフ

先日BeanstalkのPHP＆gitでのdeploy対応が発表されたので、まずは普通の使い方を試してみた。 準備 以下を使えるようににしておく git AWS Elastic Beanstalk Command Line Tool 次にレポジトリの初期化と、AWSのレポジトリセットアップを行う。 ~/work $ mkdir php5 ~/work $ cd php5 ~/work/php5 $ git init Initialized empty Git repository in /Users/motomats/work/php5/.git/ ~/work/php5 $ AWSDevTools-RepositorySetup.sh ~/work/php5 $ git aws.config AWS Access Key: ACCESSKEY AWS Secret Key: SECRET

VPCに接続するためのルータを冗長構成にしてみた。 構成 使用したのは、RTX1100を２台と回線を２つ。全体の構成は以下のようになっています。 下準備 どちらのルータも、VPCに接続できる所まで設定を入れておく。 ※以下のURLが参考になります。 http://www.rtpro.yamaha.co.jp/RT/docs/amazon-vpc/index.html http://www.rtpro.yamaha.co.jp/RT/docs/amazon-vpc/conf.txt http://blog.serverworks.co.jp/tech/2011/08/04/congratulations-vpc-in-tokyo/ http://dev.koba206.com/?p=182 VRRP設定 基本的には、こちらのページを参考にさせて頂きました。 しかし、ここではshutdown

だいぶ遅ればせながらですが、AWS SDK for Rubyを試してみました。 インストール インストールはgemが使える環境であれば、 $ sudo gem install aws-sdkなどするだけで、依存したgemと共にインストールされます。 動かしてみる さて、簡単なコードを動かしてみます。EC2インスタンスのIDとAMIのIDを表示するだけの簡単なコードです。 #!/usr/bin/env ruby require 'rubygems' require 'aws-sdk' if ENV['EC2_URL'] ec2=AWS::EC2.new(:ec2_endpoint => ENV['EC2_URL'].sub(/^https?:\/\//,"")) else ec2=AWS::EC2.new end ec2.instances.each {|instance| p instan

S3関連でよく聞かれる質問に、bucketでquota設定ができるか、という物がある。 書き込み制限まではしないまでも、容量監視くらいはしたいというニーズもあると思うので、実装してみた。 実装方法 実際にS3にアクセスし、各bucket毎のobjectのサイズを合計して、CloudWatchのcustom metricとしてputします。 以下の仕様があります。 大文字などドメイン名として成立しないbucketを無視します アクセス権のないbucketを無視します VersioningやMulti Part Uploadで使用している領域は考慮していません bucket名を指定しない場合には、全てのbucketに対して監視を行い、合計バイト数も監視します 月額メトリック数 × $0.5 の費用がかかりますので、本当に監視したいbucketだけを監視した方がよいと思います コード pytho

VPC内でNATインスタンスを構成する方法として、標準のウィザードによりAmazon Linux AMIを使う方法やVyattaを使って構成する方法(by @oko_changさん)があるが、ENIの登場によりWindowsインスタンスでも出来るようになった*1ので、実際にやってみた。 ネットワーク構成 Windowsインスタンスの準備 起動時にいきなりENIを追加して２枚刺しにするのはお勧めしない(ネットワークカードの認識順によっては、正常に起動しない可能性がある)。 まずPublic Subnetにだけ接続している状態で一度起動して、ElasticIPアドレスのRDP経由でログインする 次にPublic側ネットワークインターフェースのプロパティで自動メトリックのチェックボックスを外し、メトリックを1にしておく Private SubnetのENIを追加する インスタンスにアタッチする

比較的よく使われていると思われるRightScale社提供のCentOS5 EBS AMIを、なるべく好ましい状態で使うためのtipsです。 RightScaleのCentOS5 EBS AMIを使っている方は多いと思いますが、以下のような問題があります。 (Publicで確認できる限りは)5.4で更新が止まっている Amazon提供のFC8カーネルを使っているため、CentOSコミュニティからも動作上の問題が指摘されている そのため、参照レポジトリを最新のものとし、pvgrubを使ってCentOSのXenカーネルで起動するようにします。 元となるインスタンスを起動 東京リージョンだと、 32bit ami-f0e842f1 64bit ami-96e84297 が該当する。今回は64bitを使用しました。 ___ _ __ __ ____ __ / _ \ (_)___ _ / / /