Terraform + GitHub + CircleCI + Atlasを利用してAWSの操作を自動化した - Glide Note
TL;DR Terraform + GitHub + CircleCI + Atlas を用いてAWSの操作を自動化した 各ツールの役割は下記のような感じ Terraform => インフラへの変更ツール GitHub => .tfファイルのバージョン管理 CircleCI => CI、Terraformをawsに対して実行 Atlas => インフラの状態を記録するterraform.tfstateの管理 インフラの継続的デリバリー - naoyaのはてなダイアリーにて、言及されていた範囲(Route53の変更、Chefの適用)をAWSの操作全体に拡大した 背景 今までの問題点 AWSの各種操作がブラウザからポチポチ業… 手作業なので誤操作に気づきにくい。事故りやすい インフラの実構成がバージョン管理出来ていない ちなみにRoute53に関してはroadworkerを用いてコードで管理済
(ADV402) Beating the Speed of Light with Your Infrastructure in AWS | AWS re:Invent 2014
(ADV402) Beating the Speed of Light with Your Infrastructure in AWS | AWS re:Invent 2014 With Amazon Web Services it's possible to serve the needs of modern high performance advertising without breaking the bank. This session covers how AdRoll processes more than 60 billion requests per day in less than 100 milliseconds each using Amazon DynamoDB, Auto Scaling, and Elastic Load Balancing. This pro
[セッションレポート]NetflixにおけるMicroservicesアーキテクチャ #reinvent | DevelopersIO
この記事は AWS re:Invent 2014、PFC304-JT - Effective Interprocess Communications in the Cloud: The Pros and Cons of Micro Services Architectures - Japanese Trackのレポートです。 スピーカーはNetflixのSudhir Tonse。 レポート どうやってMicroservicesに変化していったのかを話したい。 これまで何度か本番環境が停止し、そこからたくさんのことを学んだ。それを共有したい。 Netflixについて。映画のストリーミングサービス。 PCやPS4などで再生できる。 ネットワークの1/3のトラフィックをNetflixが占めることがある。 20億以上のエッヂAPIリクエストがあって、500以上のMicroservicesが動いてい
![[セッションレポート]NetflixにおけるMicroservicesアーキテクチャ #reinvent | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/9f822a733dd20e28505900c2cfb90a863cdb365a/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2014%2F11%2Fre_invent_eyecatch.png)
AWS Summit 2014 Tokyo「AWSビッグデータサービス Deep Dive」レポート | DevelopersIO
こんにちは、虎塚です。 AWSサミットのセッション「AWSビッグデータサービス Deep Dive」をタイムシフト聴講したので、レポートします。 講師は、HBaseのコントリビュータ、書籍の著者でもある蒋逸峰さん（アマゾン データ サービス ジャパン）です。 テーマは、EMRを中心とするAWSのさまざまなビッグデータサービスを効率使うために、押さえておきたいポイントの紹介とのことです。 AWS Summit Tokyo 2014 開催レポート動画・資料一覧 | アマゾン ウェブ サービス（AWS 日本語） AWSビッグデータサービス Deep Dive（AWS Summit Tokyo 2014 | TA-01） Amazon Elastic MapReduce (EMR) のご紹介 What is EMR? EMARとは、マネージド型のHadoopサービス。オンプレミスのHadoopの導
IAM roles for EC2 instancesを使ってみる | DevelopersIO
IAM roles for EC2 instancesって何？ IAM roles for EC2 instancesは、EC2インスタンス自身が何かAWSの各種サービスにアクセスする際の権限を設定できる仕組みです。通常、IAMは、グループとユーザに関連づけていましたが、IAM Roleは、EC2インスタンスに割り当てます。今までこの仕組みがなくて、EC2内部からAWSの各種サービスにアクセスする際に、AccessIdとSecretKeyをコピーして渡していました。間違ってAMIの共有などをしてしまうと漏洩に繋がってしまい気を使っていました。今回の新機能によって、秘密情報をコピーすることなく安全に使うことが出来ます。 IAM Roleを作成する まずはじめに、IAMの管理コンソールを開いてRoleの新規作成をします。作成時にポリシーを設定しましょう。 EC2インスタンスにIAM Roleを
【AWS】VPC環境の作成ノウハウをまとめた社内向け資料を公開してみる | DevelopersIO
よく訓練されたアップル信者、都元です。今回のお題は久しぶりにVPCです。 この記事は、アップデート版が存在します。最新情報は【AWS】VPC環境構築ノウハウ社内資料 2014年4月版を参照してください。 VPCを利用する理由 弊社で構築するAWSのサーバ環境は、一部の例外を除いて全てVPCを利用しています。 突然ですが、筆者はあまり大規模なシステムに携わった経験がありません。大規模なプロジェクトだと「数百数千台のサーバがラッキングされ、それが論理的なネットワークで区切られていて」「複数のデータセンターが冗長化された専用線で結ばれて」等、正直ちょっと想像つかない世界があるんだと思います。よくわかんないですが。 (c)John McStravick. (CC BY 2.0 Licensed) 逆に、小さなシステムであれば、月々数万円でレンタルサーバを借りて「1台のマシンの中にWebサーバとDB
Announcing Security Monkey
We are pleased to announce the open source availability of Security Monkey, our solution for monitoring and analyzing the security of our Amazon Web Services configurations. At Netflix, responsibility for delivering the streaming service is distributed and the environment is constantly changing. Code is deployed thousands of times a day, and cloud configuration parameters are modified just as freq
Amazon RDS における MySQL 5.6 のパラメータ設計例 - bekkou68 の日記
(最終更新日: 2017/9/25) はじめに production 環境で MySQL 5.6 動かすためのパラメータ設計についてまとめました。この記事がカバーする内容は次のとおりです。 パラメータを設定するスクリプト。 各パラメータにおける変更するかどうかの判断基準。 想定されるメモリの消費サイズを算出してパラメータが妥当かどうか確認する方法。 サービスの状況に応じててきぎ読みかえてください。 【結論】パラメータグループ作成・パラメータ設定のスクリプト 結論として、パラメータグループを作成し、パラメータを設定する aws-cli のスクリプトを置きます。Amazon AWS の Web Console から設定することもできます。 #!/bin/sh # == パラメータグループ作成 aws rds create-db-parameter-group --db-parameter-gr
Amazon Linuxのcloud-init Tips集 | DevelopersIO
はじめに 皆さん、User-Dataを使っていますか？複数のEC2に同様の設定を適用してLaunchしたい時には便利な機能です。 このUser-Dataにはシェルスクリプトを直接書くか、あるいはcloud-init形式で記載することが出来ます。これは1行目が"#!"で始まっていればシェルスクリプト、"#cloud-config"で始まっていればcloud-init形式として処理されます。なおAmazon Linuxに導入されているcloud-initは元々のcloud-initをカスタマイズしたものであり、独自拡張がされていたり、一部のディレクティブが使えなかったりするので注意が必要です。 今回、このcloud-initを使った初期設定を色々と調べたので、まとめてみました。 Tips 設定及びログの確認 repo_update, repo_upgrade yum_repos package
Netflixのオープンソースのまとめ - ワザノバ | wazanova
http://www.lauradhamilton.com/system-administration-at-netflix 1 comment | 0 points | by WazanovaNews ■ comment by Jshiike | 約3時間前 メディカル分野のアナリティクスサービスを提供しているAdditiveAnalyticsのFounderのLaura Diane Hamiltonが、先日のNetflixのJeremy Edbergのプレゼン（110枚のスライド）をまとめてくれています。かなりの数になったNetflixのオープンソースのプロジェクトの全容がわかるので助かります。 Application Availability Hystrix: サーキットブレーカーのような役割を果たすことで、障害の雪崩現象を食い止め、分散システムの障害耐性を担保。 The Simi
JAWS-UG Nagano Kickoff Meeting
http://nseg.jp/?%E7%AC%AC52%E5%9B%9E%E5%8B%89%E5%BC%B7%E4%BC%9A
AWS Solutions Architect ブログ
はじめに ソリューションアーキテクトの安川 (@thekentiest)です。AWS ElasticBeanstalkがDockerに対応したという発表がされて以来、実際に利用してくれるお客様や、ブログを書いてくれる方がたくさんいて、嬉しい限りです。 最近ではローンチ当初に比べてDeployの仕組みも改善され、Deploy時にはStagingコンテナが立ち上がり、その立ち上げが完了した後に旧コンテナとの切り替えが行われるようになり、よりダウンタイムが短くなったので、使い勝手も良くなってきたかと思っています。 ところで皆さん、Dockerを使ったDevOpsを行う際、コンテナイメージを置くレポジトリはどうされていますでしょうか？ベースイメージだけを公開レポジトリ等から取得して、毎回コンテナをBuildする場合にはそれほど悩まないかもしれませんが、構築済みのコンテナイメージをPullしてDep
Deploying the 'League of Legends' Data Pipeline with Chef (ARC205) | AWS re:Invent 2013
Deploying the 'League of Legends' Data Pipeline with Chef (ARC205) | AWS re:Invent 2013 Over the past year, the data team at Riot Games has been using Chef to both configure instances in Amazon Elastic Compute Cloud (EC2) and build AMIs. With Chef as an integral part of the workflow, we've autoscaled thousands of instances in support of the data pipeline for League of Legends and have found that C
ELBのConnection Drainingの動作をテストする - okochangの馬鹿でありがとう
こんにちは＠oko_changです。 先日、ELBののConnection Draining機能がリリースされました。 Connection Drainingの機能については、こちらのブログに参考にして、動作テストはこちらのブログに記載されているように大きなダミーファイルを使えば良さそうです。 環境 リリースノートを見るとAWS CLIはConnection Drainingに対応しているようです。 1.3.2より前のバージョンをご使用の方はsudo pip install --upgrade awscliをして下さい。 AWS CLI 1.3.2 Amazon ElasticLoadBalancing CLI version 1.0.34.0 (API 2012-06-01) テスト環境の作成 まず最初にテスト用のELBを作成します。 $ aws elb create-load-bala
EC2のストレージどう使う? -Instance Storageを理解して高速IOを上手に活用!-
EC2のストレージどう使う? -Instance Storageを理解して高速IOを上手に活用!-
PackerでAmazon LinuxのAMI(Amazon Machine Image)を作成する | DevelopersIO
みなさーん、7/12(金)のVagrant meetupは楽しかったですかー? 話題のVagrantの開発者 Mitchell Hashimoto さんを迎えてのアツいVagrantトークに、TLは沸き上がっていましたね。かくいう大瀧は、WHITE ASH初の自主企画ライブのために、Vagrant meetupは泣く泣く欠席でした。いいライブだったから悔しくなんてないです。ホントです。 さて、そんな (どんな?w) Mitchell Hashimotoさんを中心に最近開発が進められているPackerというツールがあります。今年の3月に開発が始まり現在はまだバージョン0.1.5ですが、斬新なコンセプトや面白そうな機能がたくさんあって面白いと思い、今回は概要と入門をご紹介したいと思います！ Packerのできることと目指すもの Packerは、Packer Webサイトのトップ画像にもあるよう
EC2関連の(上限)数字を一覧にしてみた - サーバーワークスエンジニアブログ
最近色んな方から生暖かい目で見られる事が増えた気がする小室です。 本日はEC2関連を使って行く上で出てくる数字に関して記載します。 ※見つけたら追記する予定です。 ※間違っていたらすいません、@ayakomuro に教えてください。 ※情報は 2014/3/4時点のものです。 前提条件 1 AWSアカウント 各リージョンをベース（それ以外はコメントに追記） 数字は最大数（最小の場合はその旨コメントに追記） 共通 上限緩和可否 リソース ディフォルト上限数 コメント × タグ 1リソースに対して最大10個 参考URL Amazon EC2 上限緩和可否 リソース ディフォルト上限数 コメント ● EIP 5個 ● オンデマンドインスタンス数 タイプよって変わる ● スポットインスタンス数 タイプよって変わる ● リザーブドインスタンス数 アベイラビリティゾーン毎に毎月20個 × セキュリティ
aws-podcastで英語とAWSのお勉強をする | DevelopersIO
こんにちは。社内の一部で英語勉強熱が高まっている気がします。そんな貴方におすすめするのがAWSで毎週アップデートされるポッドキャストです。 http://aws.amazon.com/jp/apac/awspodcast/ AWSのアップデートやTIPSなどを20分程度で紹介します。もちろん英語です。 今週はEpisode #74ですね。 技術的にはそれほど難しい話題はありませんが、ネイティヴ向けの放送なので、英語的には自分にとってはかなり歯応えがあります。機能の概要説明は理解できますが、細かい部分や慣用句、特にジョークはまったくわからないです。(今週の放送にあった Func Engineって何だったのでしょうか?) まぁ独りで聞いているのでわからなくても笑われるわけではありません。 何度も聞いているとそのうちわかるようになってきます(たぶん)。 今回から、担当の一人が変わり、日本にもよく
Amazon EC2(Linux)システム管理で知らないとハマる5つの環境設定 | DevelopersIO
ども、大瀧です。みなさん、EC2をバリバリ使ってますか?使いたいときにすぐ使える仮想マシンとして、開発・検証から本番まで幅広く活用されていると思います。 日頃EC2を業務で運用する中で、EC2インスタンスをコピーすると意図しない環境設定に変わってしまうというトラブルが度々あり、cloud-initというツールに拠ることがわかってきました。 「EC2インスタンスのコピーなんて、一旦インスタンスを作成したあとはあまりやらないのでは?」と思われがちですが、EC2独特の制限などもあり、実際の運用では思ったよりも頻繁にインスタンスのコピーが必要になります。インスタンスのバックアップ&リストアなどはイメージしやすいと思いますが、それ以外にも意外なケースとして以下があります *1。インスタンスのコピーは、AMI(Amazon Machine Image:インスタンスのバックアップ)を取得し、新規インスタ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - ConradIrwin/aws-name-server: DNS server that lets you look up ec2 instances by instance name
