AWSのデータセンターの中身を、設計総責任者が話した
AWSのデータセンターの中身を、設計総責任者が話した：「ここまで話していいの？」（1/2 ページ） Amazon Web Services（AWS）のバイスプレジデント兼ディスティングイッシュド・エンジニア、ジェームズ・ハミルトン氏は、AWSが11月11～14日に開催した「AWS re:Invent 2014」で、データセンターの構成、サーバーやスイッチの自社設計、SR-IOVなどについて語った。 [2014/11/21訂正]記事の初出時に、ハミルトン氏がAZ間の距離を「数キロメートル」と言ったと記述しましたが、数十キロメートルである可能性もあります。ハミルトン氏はAZ間が「multiple kilometers」であると表現しています。後出のハミルトン氏の議論では、例えばロサンゼルスとニューヨークの間の伝送遅延は74ミリ秒だが、これを1、2ミリ秒に抑えるためにAZ間は近くなくてはならない
AWS OpsWorksが作成したセキュリティグループを消す&復活させる : 電子の密林を開拓する
今回は、AWS OpsWoks が残した Security Group 群を CLI でサクっと消去してみます。 また、消去したセキュリティグループを OpsWorks 自身に再生成させる方法も記載しています。 ・OpsWorksが残す残骸... AWS自身が提供する機能で OpsWorks というものがあり、簡単な手順で WEBサーバやロードバランサー、DBなど準備できるようです。チラっとしか使っていないので、それぐらいしか分からないのですが…。 しかし、使ってみたは良いものの、セキュリティグループに大量の設定が残されてしまいました。 ※IAM Role も残されていますが、IAM は未だ使っていないので気にしていないです(^^; ・AWS OpsWorks のスタックを消去する ここではOpsWorksをCLIで操作するわけではないので、残っているOpsWorksのスタックがあるような
AWSガチャは下手なチューニングよりも効果が出る？
Amazon EC2は立ち上げるインスタンスによって微妙なパフォーマンス差が出ると言われていて、複数回、インスタンスを立ち上げたり、捨てたりして、良いインスタンスを得ることを”Amazon EC2インスタンスガチャと”呼ばれています。 そのパフォーマンス差は、どれくらいなのか？気になったので測ってみました。 検証環境はこんな感じです。 AMI ID: CentOS 7 x86_64 (2014_09_29) EBS HVM-b7ee8a69-ee97-4a49-9e68-afaee216db2e-ami-d2a117ba.2 (ami-89634988) Instance Type: c3.xlarge １）Magnetic(standard) ２）Magnetic(standard) + EBS-Optimized ３）General Purpose (SSD) + EBS-Optimi
Python版AWS CLI 1.3の強化されたqueryオプションを使いこなすスニペット4つ | DevelopersIO
ども、大瀧です。 先日、AWSのコマンドラインツールであるAWS CLIバージョン1.3がリリースされました。AWS Data Pipeline対応が目立ちますが、--queryオプションの強化が個人的にはインパクトが大きかったので、なにができるようになったのかと具体的な用例をご紹介します。 バージョン1.3で追加された--queryオプションの機能 では、まずは追加された機能を確認しておきましょう。以下の2点です。 フィルタ 組み込み関数 フィルタは従来AWS CLIの--filterオプションやjqと組み合わせて行っていた処理に代わるもの、組み込み関数はjqの関数(Builtin functions)に追随するものです。つまるところ、AWS CLIの出力結果の抽出・加工を--queryオプションに一本化することができるようになりました。 ...えーと、地味とか言わないでくださいw 従来
RIの費用の一覧CSVをスクリプトで取得する | DevelopersIO
はじめに こんにちは、たけかわです。 リザーブドインスタンス(RI)、お客様の依頼で購入することが多いのですが、購入前に見積りを要望されることも多いです。最近、RIの費用を調べることがコマンドラインで出来るという話をききました。さらに先日、【小ネタ】aws-cliでEC2マネージメントコンソールの内容をCSVに出力する記事にてCSVフォーマットが出力できるという話もありましたので、東京リージョンでのRIの価格の一覧CSVを作成するスクリプトを作ってみました。 スクリプトについて TODAY=`date '+%Y%m%d'` aws ec2 describe-reserved-instances-offerings > RI${TODAY}.json cat RI${TODAY}.json | jq -r '.ReservedInstancesOfferings[] | [ .Offerin
CloudWatchとlogmonでEC2 Linuxのログを監視する
CloudWatchはAWSで用意されている監視サービスで、パフォーマンスやシステムの状態を監視することができます。 このCloudWatchによる監視は数値の監視を対象としているため、一般的な監視ツールでよくある”ログ監視”をすることはできません。 ※ここでの「ログ監視」は、ログファイルに出力されるメッセージをあらかじめ定義したパターンと比較して、マッチしていればアクションを起こすタイプの監視を意味するものとします。 そこで、今回はEC2 Linuxのログ監視をlogmonというツールとCloudWatchを組み合わせる形で実現してみます。 ログファイルを監視する方法 ログファイルの監視は昔から様々なツールで実現されてきました。 ここで、ログファイル監視を実現するための代表的な方式を挙げてみます。 swatch LogWatch logmon Nagios Zabbix Hinemos
AWSチーム社内勉強会「Ansible」レポート | DevelopersIO
はじめに こんにちは、虎塚です。 先週金曜日の18:30から1時間、AWSコンサルティング部でAnsibleをテーマに社内勉強会を開催しました。この記事では、会社の活動紹介を兼ねて、勉強会の様子をレポートします。 秋葉原オフィスと札幌オフィスにいた社員、東京や札幌近郊でリモート勤務中の社員10名以上が、Skype接続して実施しました。写真は、秋葉原オフィスの会議室に集まったAWSチームメンバーです。 今回の講師は植木さんでした。植木さん自身も上越からのリモート参加で、Skypeを使って画面共有しながら説明とデモを実施してくれました。上の写真で皆がディスプレイを食い入るように見ているのは、そのためです。 Ansibleの説明 デモンストレーション Ansibleをインストールする brew install ansible ssh/configを作成する ここで.ssh/configを自動生成
米動画配信のNetflix、Chaos MonkeyのおかげでAmazon EC2のメンテナンスリブートを難なく乗り切る
Amazon EC2は9月末、その内部で使用しているXenハイパーバイザのセキュリティリスクに対処するため、全インスタンスの約10％にあたるインスタンスに対して段階的にリブートを行うメンテナンスを実行していました。 リブートをユーザーが回避する手段はなく、AWSから事前に通知を受けたユーザーはリブートによってデータを失ったりシステムがダウンしたりしないように、何らかの処置をする必要がありました。 AWS上で大規模なシステムを運用しつつもこのメンテナンスリブートを難なく乗り切ったのが、米国で動画配信サービスなどを運用するNetflixです。その理由は同社が開発したChaos Monkeyというツールにありました。 同社のブログにポストされた記事「A State of Xen - Chaos Monkey & Cassandra」で、その顛末が紹介されています。 Chaos Monkeyによっ
Amazon RDS における MySQL 5.6 のパラメータ設計例 - bekkou68 の日記
(最終更新日: 2017/9/25) はじめに production 環境で MySQL 5.6 動かすためのパラメータ設計についてまとめました。この記事がカバーする内容は次のとおりです。 パラメータを設定するスクリプト。 各パラメータにおける変更するかどうかの判断基準。 想定されるメモリの消費サイズを算出してパラメータが妥当かどうか確認する方法。 サービスの状況に応じててきぎ読みかえてください。 【結論】パラメータグループ作成・パラメータ設定のスクリプト 結論として、パラメータグループを作成し、パラメータを設定する aws-cli のスクリプトを置きます。Amazon AWS の Web Console から設定することもできます。 #!/bin/sh # == パラメータグループ作成 aws rds create-db-parameter-group --db-parameter-gr
EMRってなんじゃ？（ログ、ゆりかごから墓場まで）
AWS Advent Calendar 2012 に参加させてもらいました。21日担当です。 AWSでWEBサイトをホストするときのログのライフサイクルについて、まとめてみました。 WEBサーバーの一般的なログの扱いは以下のような感じだと思います。 各インスタンスのアクセスログを1箇所に集める 複数のログファイルを１ファイルにまとめてソートする 集計をする 古いログのバックアップをとり、削除する これをAWSで行なってみると例えば以下のようになります。 fluentdを使って各インスタンスのログを１つのバケットAに送る EMRで１つにまとめてソート。別のバケットBに保存 EMRで集計もして、別のバケットBに保存 バケットAの期限が過ぎたものをGlacierに送る 図にすると以下のようなイメージです。 １．各インスタンスのアクセスログを1箇所に集める これはfluentdでtail→s3で行
ELBがアクセスログを出力できるようになりました！ | DevelopersIO
はじめに ついにELBがアクセスログを出力できるようになりました！(Elastic Load Balancing Announces Access Logs) ということでやってみました！ 設定 [Load Balancers]画面を開き、設定したいELBを選択します。画面下部の[Description]タブの一番下に[Access Logs]という項目があります！ なおこの項目は新しいManagement Consoleでしか表示されません。以前のManagement Consoleを使用されている場合は、画面右上に青い吹き出しのようなアイコンが表示されていますので、クリックし「Try the new design」の[Click here]リンクをクリックすると、新しいデザインのManagement Consoleに切り替わります。 さて、[Access Logs]の[Edit]リンク
Amazon KinesisはRedshiftに匹敵する破壊力 ─Hapyrus藤川氏に聞くAWSビジネスのトレンド | gihyo.jp
今回のre:Inventに参加して、この勢いは止められないとつくづく感じます。オンプレミスとAWSのすり合わせもかなり進んでおり、スタートアップからはAWSをベースにした新たなクラウドソリューションが次々と出ています。ほかのクラウドベンダとの差は縮まるどころか、拡がる一方でしょうね。 既存のRDBMSからRedshiftにJOIN ──前回お話を伺ったときはRedshiftが出てまもないころでしたが、その後、Hapyrusのビジネスも含め、Redsiftの市場における認知度はどれくらい高まってきた感じですか。 藤川：ものすごく応用範囲が拡がってきていると実感します。現在AWSが公開している事例から紹介すると、英BBCがグローバルで展開するコンテンツの分析をRedshift経由でオンデマンドで行うなど、大規模環境での利用が増えてきています。米国では金融やアドテクの事例が多いですね。とくにト
Amazon Linux AMI の Docker Base Image を作ってみた - log4moto
Amazon Linux AMI 2014.03 出ました！ Dockerが標準レポジトリに入ったことですし、せっかくなのでAmazon Linux AMIのbaseイメージを作ってみた。 準備 アップロードの時にネットワーク的に近くて良さそうなので、us-east-1リージョンで作業を行います。 AMI は amzn-ami-minimal-pv-2014.03.0.x86_64-ebs (ami-5573643c) を使います。 Management ConsoleでもAWS CLIでもよいですが、blockdevice mappingの指定が楽なので旧API Toolsで起動。 $ ec2-run-instances --region us-east-1 -k KEYPAIR -g GROUP -b /dev/sdf=snap-bb9e9f63:10:true ami-5573643
エンジニア3人で支える月間10億PV
・2年で月間10億PVを支えるまで成長した ZenClerkの運用上の工夫を紹介 ・AWSのTipsとあるある話の共有
AutoScale×ゲーム ~運用効率化への取り組み~
AWS Summit Tokyo 2014 TC-09 で発表した資料になります。 タイトル：TC-09「AutoScale×ゲーム ～運用効率化への取り組み～」について === イベント概要 === AWS Summit Tokyo 2014について 開催日：2014年7月17日（木）～18日（金） 9:15 ～ 19:00 会場：グランドプリンスホテル新高輪 （国際館パミール） 主催：アマゾン データ サービス ジャパン株式会社 サイトURL：http://www.awssummittokyo.com/ スケジュール：http://www.awssummittokyo.com/schedule.html セッション紹介：http://www.awssummittokyo.com/session.html#tc9 後半 => http://www.slideshare.net/Takas
AWS News Blog
AWS Weekly Roundup – AWS AppSync, AWS CodePipeline, Events and More – August 21, 2023 In a few days, I will board a plane towards the south. My tour around Latin America starts. But I won’t be alone in this adventure, you can find some other News Blog authors, like Jeff or Seb, speaking at AWS Community Days and local events in Peru, Argentina, Chile, and Uruguay. If you see […] New – Amazon EC2 H
＃3 JSONフォーマットをサポートしたAmazon Redshiftを使ってみる | gihyo.jp
Amazon Redshiftは非常に魅力的なクラウド・データウェアハウスですが、データをロードするところに苦労する部分が多く、我々FlyDataはデータインテグレーションサービスとしてRedshiftに関するWebサービスを提供しています。その中でも特に、JSONデータフォーマットのサポートがRedshiftユーザに好評で、FlyDataでも積極的に開発しています。そのJSONサポートが、ついにAWSによってRedshiftに提供され始めたということで、詳細を調べてみました。 まずその前に、JSONの基本から見ていきましょう。JSONは急速に、アプリケーションとサーバ間のデータ交換を行うためのデファクトフォーマットとなりつつあります。つまり、簡単かつ柔軟に扱えるその特性により、JSONログを生成・分析することが一般的になりつつあるのです。 より多くのデータがJSONフォーマットで生成・保
「AWS Summit Tokyo 2013」開催レポート（リンク集） - Qiita
去年のAWS Summit Tokyo 2013 の資料を発見したので、リンク集として残します。 AWS Summit Tokyo 2013 レポート| アマゾン ウェブ サービス（AWS 日本語） AWS Summit Tokyo 2013 レポート セッション動画・資料一覧| アマゾン ウェブ サービス（AWS 日本語） 資料 オープニングキーノート Day2 オープニングキーノート講演資料 三井物産株式会社 講演資料 株式会社日立製作所 講演資料 エンタープライズトラック 【Day 1 ランチセッション】Road To AWS - クラウドへの道 - （AWS Summit Tokyo 2013 | EP-00） - YouTube 【ランチセッション】Road To AWS -クラウドへの道- 【実録】エンタープライズ AWS ～その時歴史は動いた～ - YouTube 【実録】エ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Amazon Redshiftによるビッグデータ分析環境の構築手順
【GDC 2014】モバイル端末でハイエンドゲームをノーラグで実現？！ Amazonの新クラウドゲーミングシステムはモバイルとクラウドのいいとこ取りだった