米動画配信のNetflix、Chaos MonkeyのおかげでAmazon EC2のメンテナンスリブートを難なく乗り切る
Amazon EC2は9月末、その内部で使用しているXenハイパーバイザのセキュリティリスクに対処するため、全インスタンスの約10％にあたるインスタンスに対して段階的にリブートを行うメンテナンスを実行していました。 リブートをユーザーが回避する手段はなく、AWSから事前に通知を受けたユーザーはリブートによってデータを失ったりシステムがダウンしたりしないように、何らかの処置をする必要がありました。 AWS上で大規模なシステムを運用しつつもこのメンテナンスリブートを難なく乗り切ったのが、米国で動画配信サービスなどを運用するNetflixです。その理由は同社が開発したChaos Monkeyというツールにありました。 同社のブログにポストされた記事「A State of Xen - Chaos Monkey & Cassandra」で、その顛末が紹介されています。 Chaos Monkeyによっ
Netflixのオープンソースのまとめ - ワザノバ | wazanova
http://www.lauradhamilton.com/system-administration-at-netflix 1 comment | 0 points | by WazanovaNews ■ comment by Jshiike | 約3時間前 メディカル分野のアナリティクスサービスを提供しているAdditiveAnalyticsのFounderのLaura Diane Hamiltonが、先日のNetflixのJeremy Edbergのプレゼン（110枚のスライド）をまとめてくれています。かなりの数になったNetflixのオープンソースのプロジェクトの全容がわかるので助かります。 Application Availability Hystrix: サーキットブレーカーのような役割を果たすことで、障害の雪崩現象を食い止め、分散システムの障害耐性を担保。 The Simi
AWS Mobile Hubで超かんたんモバイルアプリ開発 (Android / iOS) - Qiita
注意 2018/12/05 追記 今からMobile Appを構築されるという方は、Mobile Hubではなく AWS Amplify の利用推奨です！！ はじめに ラスベガスで開催中のAWSのイベント「AWS re:Invent 2015」にて、Mobile Hubというサービスが発表されました。 参考記事 - AWS Mobile Hub – Build, Test, and Monitor Mobile Applications - わずか3ステップでモバイルアプリケーションを生成する「AWS Mobile Hub」発表。AWS re:Invent 2015 特徴 環境構築、テスト、を簡素化する 1つまたは複数のAWSサービスを利用するモバイルアプリケーションを監視するプロセスを簡素化する ユーザ認証、ストレージ、Backend Logic、Push通知、コンテンツ配信、分析、をす
RDSがt2インスタンスでどのくらい速くなったか試してみた | DevelopersIO
はじめに ウィスキー、シガー、パイプをこよなく愛する大栗です。 先日RDSでt2インスタンスタイプが選択可能になりました。 旧世代と現行世代でどの程度のパフォーマンス差があるのか気になったので、ベンチマークしてみました。 ベンチマーク環境 ベンチマークの種類 RDBMSのベンチマークで一般的なTPCのオンライントランザクション処理の指標である「TPC-C」を行います。 ベンチマーク用ツールはMySQLのOracle ACEである平塚氏が作成したJdbcRunnerのTPC-C簡易実装であるTiny TPC-Cを使用します。 使用データ 使用データは以下のコマンドでロードしています。 java JR scripts\tpcc_load.js -nAgents 8 -param0 100 "-param0"に100を指定しているので、データ件数は以下になります。 Table Records
AWS Command Line Tool Python版 ｜ Developers.IO
軽量コマンドラインツールが出た！ 全国うん万人?のAWSデベロッパーの皆さん、ニュースです。AWSから提供されていたコマンドラインツールがPython版になって登場です。すでに12のサービスに対応しています。ただ単にJavaからPythonになったというレベルではありません。超軽量になったのです。今までのコマンドラインツールは、バックグラウンドでJVM(Java VM)が立ち上がっていました。コマンドが呼ばれる度にVMが初期起動するのでCPU使用率が非常に高く、サーバー運用時の定期呼び出しには大きな問題となっていました。仕方なく、RubyやPythonのSDKを使ってスクリプトを書くという毎日でした。Java好きな私ですので多少擁護しますと、Java版はRI(Reference Implementation)として、AWSの全てのAPIにアクセスするためのお手本として、今後も最初にSDKが
料理動画を支える技術 - クックパッド開発者ブログ
インフラストラクチャー部 星野(@con_mame)です。 少し前から、一部レシピページに料理動画を掲載していました。当初はYoutubeを使用していましたが、本日から自社配信に切り替わりました。現在はまだ掲載数は少ないですが、今後掲載数を増やしていきたいと考えております。 そこで、今回は、動画配信プラットフォームの裏側がどうなっているかという点を簡単にですがご紹介したいと思います。 構成図 構成図を見ていただくのが一番わかり易いと思うので、最初に掲載します。 見て分かる通り、今回は全てAWSのサービスを使用して構築しています。 今回使用したサービスは エンコード: Elastic Transcoder データストア: DynamoDB + DynamicDynamoDB ストレージ・配信: S3 + CloudFront エンコード通知など: SNS 今回、構築までの期間とエンコードや動
料金 - Amazon CloudFront | AWS
AWS リソースから CloudFront エッジロケーションに転送されるキャッシュ可能なデータに、追加料金は発生しません。 CloudFront は、HTTP または HTTPS リクエストに加えて、エッジロケーションからのデータ転送の料金を課金します。料金は利用形態、地域、機能の選択によって異なり、オプションの料金は以下のとおりです。
Spark/Sharkで次世代Hadoop? – OpenGroove
Clouderaが、Apache Sparkのサポートを開始したそうだ。 正直に言うと、Apache Sparkって今日初めて聞いたんだけど… Cloudera announces support for Apache Spark, Cloudera Connect: Innovators partnership with Databricks. http://t.co/hRP7xbMTxH — Matt Aslett (@maslett) October 28, 2013 以下資料によると、Hadoop HDFSに特殊なキャッシュを載せて繰り返し処理を高速化できるもの、らしい。条件によってはMapReduceより100倍高速になることも。処理はDSLで記述するが、さらにSQLライクな構文で記述可能なフレームワークSharkを利用することでHive同様な使い方ができる！ こちらは日本語の非
genies-ag.jp - このウェブサイトは販売用です！ - コンサルティング 導入 構築 ジーニーズ ジー 思考 ニーズ 企業 リソースおよび情報
このウェブサイトは販売用です！ genies-ag.jp は、あなたがお探しの情報の全ての最新かつ最適なソースです。一般トピックからここから検索できる内容は、genies-ag.jpが全てとなります。あなたがお探しの内容が見つかることを願っています！
genies-ag.jp - このウェブサイトは販売用です！ - コンサルティング 導入 構築 ジーニーズ ジー 思考 ニーズ 企業 リソースおよび情報
このウェブサイトは販売用です！ genies-ag.jp は、あなたがお探しの情報の全ての最新かつ最適なソースです。一般トピックからここから検索できる内容は、genies-ag.jpが全てとなります。あなたがお探しの内容が見つかることを願っています！
EC2にApacheとBasic認証、ftpをセットアップする | DevelopersIO
タイトルの通りですが、今後も使うかもしれないので、備忘録として残しておきたいと思います。 まずはAWS Management Consoleでt1.microのインスタンスを作成します。（あえて手順は書きません） 次にEC2インスタンスがrunningになったのを確認してSSHでログインします。（security groupの設定で事前にSSHを許可しておきます。インスタンス作成時に作成したSSH鍵も指定します。） ec2-userでログイン後はタイムゾーンを日本時間に設定しておきます。 sudo su - cp -i /usr/share/zoneinfo/Japan /etc/localtime ※以後の操作はすべてrootユーザで行っています。 次にApacheのインストールをします。 yum -y install httpd 次にユーザ及び公開するディレクトリを作成し、Apache
Amazon EC2の立ちあげ後に設定すること！パート②～EIP編～
今回は前回に引き続き、Amazon EC2立ち上げ後の設定編です！ Amazon EC2を立ち上げたらまず、Elastic IP（固定IP:以後EIP）を設定しましょう。 Amazon EC2のIPアドレスおよびドメインの仕様は以下のようになっています。 ・Public DNS/IP → インスタンスの停止/起動で変更されます（再起動はOK） ・EIP → EIP自体を開放しない限り固定です Public DNSはネット上の共有DNSになるため、Webページへのアクセス速度が向上する等のメリットがありますが、特定インスタンスだけの調子が悪くなってしまった等、どうしても変更が必要な場合には再度設定が必要になるため少し厄介です… それに比べEIPは、EIP自体をインスタンスに対して開放しない限り、固定となるためpublic DNSのようなデメリットはありません。 ですから必ず、EIPもあわせ
Amazon EC2にnode.jsをインストール | KennyQi PHP Blog
Amazon EC2 に node.js をいれたのでメモ。 ただインストールするだけでは次回ログイン時にnodeが見つからないのでPathを通しました。 また、今回、HTTPサーバを動かしながらnode.jsのテストをしたかったのでApacheと共存することにしました。 この記事の内容は下記の通り。 １）yum にて必要なライブラリをインストール ２）nvm をgitからインストール ３）nvm にてnode.jsをインストール ４）次回ログイン時も使えるようにする環境設定 ５）npm にてnode-devをインストール ６）Apache と共存するための設定をする ７）node.js の起動スクリプトを作成して登録する ８）開発時と運用時での切り替えについて ０）準備 とりあえず、nodejsというユーザを作って そのホームディレクトリ直下で作業しました。 イン
Amazon EC2のイメージファイルをS3に保存する ｜ 横浜のホームページ制作 スタジオFIXの社長ブログ
エンジニアではない、ただのWebデザイナーの私なのに、 とうとう Amazon EC2、DebianでFTP（vsftpd）設定 してしまったので、 そろそろサーバのこの状態を保存しておかなくちゃ！ まず「Amazon Web Servuce」にアクセスして、 「Your Account」のプルダウンメニューから、「Access Identifiers 」をクリック。 「Your Access Key ID: 」の箇所にあるズラズラした文字列をメモ。 「Your Secret Access Key: 」の箇所にあるズラズラした文字列もメモ。 「Amazon Web Servuce」は、ここまで。 次は Amazon S3へのアクセスするためのツール、 Firefoxのアドオン「S3 Firefox Organizer」のインストール。 Firefoxで以下のページから無料で入手できます。
外部 Amazon RDS データベースを使用して高可用性の Drupal ウェブサイトを Elastic Beanstalk にデプロイする - AWS Elastic Beanstalk
翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。 外部 Amazon RDS データベースを使用して高可用性の Drupal ウェブサイトを Elastic Beanstalk にデプロイする このチュートリアルでは、 の外部で RDS DB インスタンスを起動するプロセスについて説明します AWS Elastic Beanstalk。そして、Drupal ウェブサイトを実行中の高可用性環境を設定して connect する方法を説明します。ウェブサイトでは、アップロードされたファイルの共有ストレージとして Amazon Elastic File System (Amazon EFS) を使用しています。Elastic Beanstalk の外部 DB インスタンスを実行すると、環境のライフサイクルからデータベースを
Amazon EC2 にてAmazon Linux AMIにMySQLを入れる - Ken's Blog
Amazon EC2にて、Amazon Linux AMI(32bit)を使い、マイクロインスタンスでインスタンスを作成した。そこにMySQLを入れてみた。 インスタンスの起動までは試していたが、その起動はブラウザからAWS Management Consoleで行っていたため、ターミナルからsshを使ってアクセスできるようにする。 インスタンスを生成した際にキーファイル（pem）は手元にあるため、以下のコマンドで接続できた。 $ssh ec2-user@{Public-DNS} -i xxx.pem __| __|_ ) Amazon Linux AMI _| ( / Beta ___|\___|___| これでOKなので、現在のサービス一覧を見てみます。基本的に何も入っていません。 $ sudo service --status-all anacron is stopped atd (
AWSにmysqlをインストールする : Androidアプリ開発したい！
7月7 AWSにmysqlをインストールする カテゴリ:MySQLAWS yumでmysqlをAWSのEC2上にインストール $ sudo yum install mysql-server ... 省略 AWS用のmy.cnfがあるみたいなのでそれにする $ sudo mv /usr/share/mysql/my-medium.cnf /etc/my.cnf やっぱutf-8ですよね。 $ sudo vim /etc/my.cnf ... 省略 character-set-server=utf8 そして起動してみた。けどエラー。。。 $ sudo /etc/rc.d/init.d/mysqld start MySQL Daemon failed to start. mysqld を起動中: [失敗] 失敗しか言わない！ので、エラーログみてみます。 $ sudo view /var/log/
Amazon EC2環境構築〜PHP+mysqlインストールまで
Amazon Web Services 本日は、Amazonが提供するクラウドコンピューティング•サービス「Amazon Web Services」のAmazon EC2を用いて、クラウド•サーバーを構築します。AWSは「初期投資を抑え低コストでサービスを開始できる」、「トラフィックに対応して柔軟にスケーラビリティが可能」、「99.95%の可用性、堅牢なセキュリティー」、などAWSメリットは上げれば切りがありません。 しかし、AWSは多種多様なサービスを展開しており、そのためAWSは一見複雑そうであり、なかなか実際に使ってみようと一歩を踏み出せない事実もあります。 そこで、今回は10分でAmazon EC2環境構築からPHP+mysqlインストール、動作確認をすることを目標に、説明事項を絞って解説します。 Amazon EC2環境構築 AWSサービス一覧 Services内容一覧、サービス
Vagrant 1.1 で EC2 を vagrant up - naoyaのはてなダイアリー
Vagrant 1.1 がリリースされました。 Vagrant は仮想サーバーのフロントエンドのツール、詳しくは Vagrant - naoyaのはてなダイアリー あたりを。 で、この 1.1 が 1.0 → 1.1 という割に結構大きなアップデートで新しく VM に VirtualBox 以外のものが選択できるようになった。すなわち「VirtualBox のフロントエンド = Vagrant」から「各種仮想マシンのフロントエンド = Vagrant」という風にアップデートされた。 今回の 1.1 からVMを操作するproviderがプラグイン構造となり、VirtualBoxだけならず、公式で操作できる対象が増えました。 VirtualBox VMware Fusion Amazon EC2 + VPC Rackspace Cloud VMware Fusion以外はオープンソースで公開さ
EC2でインスタンス（仮想サーバー）を作る方法【日本語解説】 – AWSの使い方 - usedoor
EC2（Amazon Elastic Compute Cloud）にて仮想サーバー（インスタンス）を作成する方法です。 AWSの中でも一番（？）有名どころのEC2の一番初歩的な使い方だと思います。 AWS素人の自分の第一歩。 EC2にてインスタンスを作成する方法をまとめました。 AWSマネジメントコンソールにアクセスした部分からの解説です。 ログイン方法などについては↓をご参考ください。 ⇒ AWSログイン方法、無料期間、用語などなど ⇒ AWSマネジメントコンソールへアクセス <<目次>> ・EC2管理画面にログイン ・インスタンスを作る場所を設定する ・EC2管理画面を日本語でできるだけ解説 ・EC2でインスタンスを作成する ・Windows Server 2008を無料で作成してみる ・寄り道。セキュリティ設定を行う ・Key Pairを作成する ・作成したWindowsにリモートデ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
