EC2 Linux で DNS 解決の失敗を回避する
簡単な説明 CPU とネットワークの使用量を減らし、DNS 解決の失敗を回避するには、DNS キャッシュを適用します。 DNS キャッシュを使用して外部 DNS リソースをクエリする場合、キャッシュは、繰り返される DNS クエリのほとんどにローカルで応答します。キャッシュがこれを行う場合、ネットワーク経由の DNS リゾルバーとのやり取りは実施しません。次の例のような外部 DNS リソースをクエリできます: Amazon Relational Database Service (Amazon RDS) Amazon ElastiCache Amazon Simple Storage Service (Amazon S3) 以下の手順は Amazon Linux のすべてのバージョンに適用されます。別のディストリビューションを使用している場合、次のリストから該当するドキュメントを選択してく
AWS EC2パラメータストアを利用したRails 秘匿情報の管理 - LCL Engineers' Blog
DBの接続情報・APIキーなどの秘匿情報は、git管理下に置くべきではないですが、皆さんはどのようなに管理しているでしょうか？ 先日のAWS Summit Tokyo 2017のDMM様の事例で、EC2 System Managerパラメータストアの紹介がありましたので、使ってみました。 ※ タイトルにRailsとついてますが、特にRailsに依存する内容ではありません。 EC2 SystemManager パラメータストアとは 簡単に言うと、key/value形式のパラメータをAWSで集中管理できる仕組みだと理解しています。 主に、以下の特徴があります。 AWS API、CLIを利用してアクセス可能 KMSを利用してパラメータ値の暗号化が可能 IAMを利用して、各パラメータへのアクセス権を細かく制御可能 管理コンソールからの登録 EC2 Managemtn Consoleの左下に、Par
microインスタンスのCPU使用率はCloudWatchを信じろ - 日報 #113 - 俺の報告
解せぬ解せぬと思っていたことがようやく分りました。 嬉しい半面、異常に時間をロスしたことに地団ステップを踏まざるを得ません。 結論から先に書きます。 しかも箇条書きで。 t1.microのtopコマンドやvmstatでのCPU使用率は信じるな t1.microのCloudWatchのCPU使用率を信じろ かと言ってt1.microのvmstatコマンドとかから実際のCPU使用率を計算することはかなり難しい。（実質無理？） 安定してCPU監視のもと動作させたいなら、smallインスタンスから使え ということです。 サービスレベルでmicroを使う時は注意が必要というのは、 一見当たり前のようですが、 今回はその中でも重箱の隅をつつくような理由で説明させていただきます。 もちろん、下記の情報を知った上で上手にmicroを使えるのがハイパーいいことだとは思います。 さて、では簡単に説明を。 こと
会社の本番環境をDocker(ECS)に置き換えるために準備したこと気づいたこと
エンジニアの@macs_6です。 このブログでは社内のAWS EC2上で運用しているアプリケーション群をECS移行したプロジェクトについて紹介します。 ローカルの開発環境をDockerした話は以前の記事(複数の rails プロジェクトが共存する開発環境を Docker 化した話を晒してみる)で西辻が紹介しているので、そちらを参照して下さい。 概要 プロジェクトを始める前に感じていた課題 目指す状態 ECSを選択する理由 設計 移行のために必要な作業 Digdagによるスケジューリングについて ECSを使って見て気づいたこと 今後やりたいこと プロジェクトを始める前に感じていた課題 ローカル・本番で再現性のある環境を簡単に作れるようにしたい 簡単にスケールできるようにしたい コストを抑えたい ECS移行プロジェクトを始める前にはこれらの3つの事に課題感を持っていました。 1.ローカル・本番
AWS Tokyo Regionのネットワークを調べてみた。 - めもおきば
AWSの東京リージョンがリリースされたということで、技術視点からネットワーク関係を探ってみました。 なお、利用者視点でのレイテンシやスループットについては、並河さんの記事が分かりやすいです。 上位ネットワーク まず最初に、インターネットとの接続方法、つまり上位ISPをざっくり知るために、実際にEC2上で立ち上げたインスタンスのIPアドレスをrobtexに突っ込んでみると、AS16509の175.41.192.0/18 AWS AsiaPac prefixというのが実際にインターネット上で流れている経路、つまりIPアドレスブロックでよさそうです。さらに、 AS16509は日本を含む全世界で使ってるけどAS38895はシンガポールでのみ。シンガポールと日本へのルーティングはそれぞれに割り当てた/18単位で、って感じかな。(そうなると、シンガポールだけ別のASにした理由がイマイチ分からないな)
Amazon EC2(Linux)のswap領域ベストプラクティス | DevelopersIO
ども、大瀧です。 Linuxのメモリ管理で欠かせないのがswapですよね。EC2のディスク管理には独特な仕様があるのでその辺りを踏まえつつ、EC2(Linux)でどのようにswap領域を用意するのが良いのかまとめてみたいと思います。 理屈をこねながらの解説になるので、先に本エントリーの結論を。 公式AMIにはswap領域が含まれない m1.small、c1.mediumには900MBのスワップ領域がおまけでついてくる(Amazon Linux AMIであれば、Cloud-initによって自動マウントされる) swap領域には、インスタンスストア(別名Ephemeral Disk)を使うべし では、それぞれ見ていきます。 公式Linux AMIの初期構成にはswapパーティションが無い Amazonから提供される公式のLinux AMIのブートディスクには、swapパーティションが含まれてい
Amazon EC2(Linux)システム管理で知らないとハマる5つの環境設定 | DevelopersIO
ども、大瀧です。みなさん、EC2をバリバリ使ってますか?使いたいときにすぐ使える仮想マシンとして、開発・検証から本番まで幅広く活用されていると思います。 日頃EC2を業務で運用する中で、EC2インスタンスをコピーすると意図しない環境設定に変わってしまうというトラブルが度々あり、cloud-initというツールに拠ることがわかってきました。 「EC2インスタンスのコピーなんて、一旦インスタンスを作成したあとはあまりやらないのでは?」と思われがちですが、EC2独特の制限などもあり、実際の運用では思ったよりも頻繁にインスタンスのコピーが必要になります。インスタンスのバックアップ&リストアなどはイメージしやすいと思いますが、それ以外にも意外なケースとして以下があります *1。インスタンスのコピーは、AMI(Amazon Machine Image:インスタンスのバックアップ)を取得し、新規インスタ
【AWS】CloudWatch入門／EC2のステータスチェックを行ってみよう | DevelopersIO
はじめに こんにちは植木和樹です。そもそもCloudWatchってどんなことができるの？という質問をお客様から受けまして、そのお答えの一つとして「 CloudWatch Metrics for EC2 Status Checks」（初出：2012/07/18）で発表された、CloudWatchを使ったEC2のステータスチェックをご紹介したいと思います。 EC2のステータスチェックというのは、AWS内部で行われているインスタンスの正常性テストのことで、EC2のコンソールで（2/2 checks passed）と表示されているものです。 仮想マシンレベルで疎通がとれているかチェックしている「System Status Checks」と、OSレベルで疎通がとれているかチェックする「Instance Status Checks」の2つがあります。「System Status Checks」がエラー
【AWS】VPC環境の作成ノウハウをまとめた社内向け資料を公開してみる | DevelopersIO
よく訓練されたアップル信者、都元です。今回のお題は久しぶりにVPCです。 この記事は、アップデート版が存在します。最新情報は【AWS】VPC環境構築ノウハウ社内資料 2014年4月版を参照してください。 VPCを利用する理由 弊社で構築するAWSのサーバ環境は、一部の例外を除いて全てVPCを利用しています。 突然ですが、筆者はあまり大規模なシステムに携わった経験がありません。大規模なプロジェクトだと「数百数千台のサーバがラッキングされ、それが論理的なネットワークで区切られていて」「複数のデータセンターが冗長化された専用線で結ばれて」等、正直ちょっと想像つかない世界があるんだと思います。よくわかんないですが。 (c)John McStravick. (CC BY 2.0 Licensed) 逆に、小さなシステムであれば、月々数万円でレンタルサーバを借りて「1台のマシンの中にWebサーバとDB
EC2のChef SandboxをVagrant+BerkShelfでさくっと作る | DevelopersIO
ども、大瀧です。 社内でそこかしこから"Chefで〜"、"Chefが〜"と聞こえるようになってきました。来月、Chefについてお話しする機会なんてのも巡ってきたので、日頃からChefを触っておかねばと一念発起しました！ が、Chefの環境作るのって結構面倒なんですよね。そこで、最近EC2に対応したVagrantを使ってChefのお勉強環境(Sandbox)をさくっと作ってみます。例によって、説明はいっぱい書いてありますが、かいつまんで目を通して、ところどころのコマンドを実行していく感じで見ていただくのがいいと思います。 使ってみたツール Chef Solo : Chefの実行方法はyamatoさんの記事にあるChef Server & Clientもありますが、今回はCookbookの勉強が目的なので、より簡単に構築できるChef Soloで行きます。 Berkshelf : ChefのC
Vagrant 1.1 で EC2 を vagrant up - naoyaのはてなダイアリー
Vagrant 1.1 がリリースされました。 Vagrant は仮想サーバーのフロントエンドのツール、詳しくは Vagrant - naoyaのはてなダイアリー あたりを。 で、この 1.1 が 1.0 → 1.1 という割に結構大きなアップデートで新しく VM に VirtualBox 以外のものが選択できるようになった。すなわち「VirtualBox のフロントエンド = Vagrant」から「各種仮想マシンのフロントエンド = Vagrant」という風にアップデートされた。 今回の 1.1 からVMを操作するproviderがプラグイン構造となり、VirtualBoxだけならず、公式で操作できる対象が増えました。 VirtualBox VMware Fusion Amazon EC2 + VPC Rackspace Cloud VMware Fusion以外はオープンソースで公開さ
Jenkins＠EC2 による 継続的インテグレーション
This document discusses using Jenkins to run continuous integration jobs on Amazon EC2 instances. It describes how to launch a Jenkins slave node on an EC2 instance using the EC2 API tools and SSH. The Jenkins slave node runs jobs and reports back to the Jenkins master, and the EC2 instance can be automatically started before jobs and stopped afterwards to avoid costs when not in use.Read less
AWS News Blog
Announcing Amazon Managed Service for Apache Flink Renamed from Amazon Kinesis Data Analytics Today we are announcing the rename of Amazon Kinesis Data Analytics to Amazon Managed Service for Apache Flink, a fully managed and serverless service for you to build and run real-time streaming applications using Apache Flink. We continue to deliver the same experience in your Flink applications without
Amazon EC2インスタンスに簡単にSSHできるようになるツールec2sshを公開しました - 昼メシ物語
みんなが大好きなクラウドホスティングサービスのAmazon EC2ですが、インスタンスをバンバン立てたり落としたりしていると、ホスト名の管理が面倒になってきますよね。たとえば「さっき立てたインスタンスにSSHしたい！」と思ったら、consoleをひらいて、「ec2-xxx-xxx-xxx-xxx.compute.us-west-1.compute.amazonaws.com」なPublicDNSをターミナルにコピペして…みたいな面倒な事をやってしまいがちです。 これを避けるためには、~/.ssh/configをマメに更新したりするといいのですが、これはなかなか面倒な作業です。インスタンスは一旦StopしてRunし直すと、IPが変わってしまいますからね。 そこでec2sshの登場です ec2sshは、インスタンスのNameタグからホスト名を生成して、~/.ssh/configに書きこむツール
Cooking up EC2 Instances with Chef - craigcottingham.github.com
Updated 2011-06-26: Fixed the description of the internal layout of `cookbooks.tar.gz`. In my last blog post about EC2, I closed by mentioning that CloudInit has a 16K limit on user data, into which it can be difficult to shoehorn complex server configurations. One way around that is a configuration management tool; I’ll look at one called Chef. Mise en place Chef is a software package that runs r
セキュリティグループ（Security Group）をコマンドラインツールで作成する 【Amazon EC2】 : morituriのブログ
■概要 セキュリティグループ（Security Group）は、EC2インスタンスに対するファイアウォールのようなもの。インスタンスへのネットワーク接続を制限できる。 インスタンスにはなんらかの接続許可設定は必須（管理用接続など）のため、インスタンスを作る前にセキュリティグループを考慮する必要がある。 接続許可ポートやIPアドレスは、複数のルールとして定義する。 （ssh接続の許可、httpの許可など） インスタンスには必ず１つ以上のセキュリティグループが適用され、1度起動したインスタンスには後からセキュリティグループを追加・削除することはできない。また、使用中のセキュリティグループは削除できない。ただし、ルールの追加・削除は常に可能なため、使用中のセキュリティグループの設定変更をしたい場合はルールの追加・削除で対応する。 インスタンス起動時にセキュリティグループを指定しなかった場合は「d
日経Linux3月号にChef Soloの話を執筆しました | Ryuzee.com
ということでタイトルの通りなんですが、本日2月8日発売の日経Linux3月号の特集1「クラウド活用で“簡単” “タダ” “楽しく” サーバー構築の新常識」の一部を執筆しました。 僕が書いたのは、Amazon EC2 API Toolsを使ってコマンドラインからEC2インスタンスを立ち上げて、そのインスタンスに対してChef Soloを使ってさくっとApacheやPHPやMySQLをインストールしよう、という内容です。 応用編としてEC2のインスタンス上にTracとSubversionをコマンド一発で作るChefのレシピなんかも用意しました。 日経 Linux (リナックス) 2012年 03月号 [雑誌] 出版社：日経BP社( 2012-02-08 ) 定価：￥ 1,533 雑誌 ( 172 ページ ) ISBN-10 : ISBN-13 : 4910071930327 環境構築の自動化を
[AWS Summit 2012] クラウドデザインパターン#5 CDP バッチ処理編
7. CDPカテゴリ (2012.09.13現在) 基本 静的コンテンツを処理 運用保守 Snapshot Web Storage Bootstrap Stamp Direct Hosting Cloud DI Private Distribution Stack Deployment Scale Up Cache Distribution Ondemand Disk Server Swapping Rename Distribution Monitoring Integration 可用性を向上 Web Storage Archive データをアップロード Weighted Transition Multi-Server Write Proxy Hybrid Backup Multi-Datacenter Storage Index Floating IP Direc
![[AWS Summit 2012] クラウドデザインパターン#5 CDP バッチ処理編](https://cdn-ak-scissors.b.st-hatena.com/image/square/8ddc65b75e738c9839196f444a22a83de3faea9b/height=288;version=1;width=512/https%3A%2F%2Fcdn.slidesharecdn.com%2Fss_thumbnails%2Faws-summit-cdp-05-121001104857-phpapp01-thumbnail.jpg%3Fwidth%3D640%26height%3D640%26fit%3Dbounds)
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
EC2のSecurity GroupでELBからのみのアクセスを許可する。 - Qiita
EC2StartersGuide - Community Help Wiki