毎日短時間だけ稼働したいEC2 Spot Instanceを定期起動してみた | DevelopersIO
定期的にEC2を使いたいけど、頑張って節約したいときに。なお、スポットインスタンスの性質上、重要度の高いサーバーにはお勧めできません こんにちは、AWS事業本部の荒平(@0Air)です。 EC2のスポットインスタンス、使い方さえ押さえれば、価格を低く抑えたいときに大変便利ですよね。 日中しか利用しないアプリケーションをスポットインスタンスで構築し、定期起動する仕組みを作ってみました。 参考：Amazon EC2 スポットインスタンス (耐障害性を備えたワークロードを最大 90% OFF で実行) 構成図 実装方法はいくつかあると思いますが、今回はCloudFormation・Lambda・EventBridgeを利用します。 やってみた 1. Spot Instance用の起動テンプレートを作成する スポットインスタンスとして起動させるためのEC2起動テンプレートを作成します。 EC2イン
さいきんのMySQLに関する取り組み（仮）
2. Copyright © GREE, Inc. All Rights Reserved. 自己紹介 ● わりと MySQL のひと ● 3.23.58 から使ってる ● むかしは Resource Monitoring も力入れてやってた ● ganglia & rrdcached の（たぶん）ヘビーユーザ ● というわけで、自分は Monitoring を大事にする ● 一時期は Flare という OSS の bugfix などもやってた ● さいきんは、ハードウェアの評価をしている時間が長かった ● たまに Linux の TCP プロトコルスタックについて調べたりもする 2 3. Copyright © GREE, Inc. All Rights Reserved. ● 弊社は、古くからオンプレミス環境で、 MySQL をヘビーに使ってきまし た。 ● 過去に、一部のサービスを
Terraform + Cloud-init + Ansible で AWS EC2 プロビジョニングの共通化 - Qiita
AWS と IBM Cloud の二つのクラウドで、Terraform 仮想サーバーをプロビジョニングして、マルチクラウド化ツールの実態を体験して理解したいと思い、前回、IBM Cloudで作成した Terraform の構成ファイルを AWS EC2 用に書き直して、検証をおこないました。 この記事は、Terraform + Cloud-init + Ansible で IBM Cloud VSIプロビジョニング自動化の記事のAWS版です。 Terraform の詳細なコードは、takara9/terraform-aws-ec2 にあります。Terraform の実行環境は、takara9/vagrant-terraformを想定しています。 次のように、GitHubからクローンしたディレクトリで、ファイル名を挙げながら、どのように対応したのかを記述しておきます。 ~/terraform
EC2 Auto-ScalingでECS組んでますか？エラーレート高いですか？救ってあげてもいいですか？ | CyberAgent Developers Blog
EC2 Auto-ScalingでECS組んでますか？エラーレート高いですか？救ってあげてもいいですか？ サイバーエージェント技術本部インフラエンジニアの@prog893です。今回も「AWA」という音楽ストリーミングサービスのインフラの改善について紹介したいと思います。前回の記事では、データベースの復旧時間が12時間から55分まで短縮できた話を紹介しましたが、今回は楽曲ダウンロード及びストリーミングレイヤーでのエラー率を大幅に改善したことについて述べたいと思います。 楽曲ダウンロード及びストリーミングの構成 まず、楽曲ダウンロード及びストリーミングの構成概要について紹介します。 音楽ダウンロード及びストリーミングの構成概要 楽曲配信サーバ(以降Track Proxy)はコンテナとして実行しAWS Elastic Container Service（ECS）で運用しており、ECSのバックエン
スポットインスタンスを効率的に管理するSpotinstを使おう - ABEJA Tech Blog
みなさん、AWSのスポットインスタンスは使っていますか？ スポットインスタンスを使えばオンデマンドインスタンスの約70-80%引きでEC2を利用でき、大きなコスト削減が出来ます。 しかし、スポットインスタンスは価格変動が起きるとインスタンスが停止したりするリスクがありますよね？ その辺りのリスクをヘッジしてくれるのがSpotinstというサービスになります。 Spotinstは価格変動によるリスクヘッジだけじゃないメリットがたくさんあるので紹介したいと思います。 Spotinstは何個かサービスがあるのですが、その中のElastigroupという機能を主に説明していきます。 結論 先に結論書いておきます。 かなり安いから使わない理由は無いです。Pricingの項目を参照ください。 Elastigroupとは spotinst.com トレンド分析 Elastigroupは独自の予測アルゴリ
今日から始める人のためのKubernetes on AWSベストプラクティス - Qiita
今年一年Kubernetes on AWSをやってきて、kube-awsメンテナ目線で、「今日から、できるだけ楽に、安定して本番運用」するための個人的ベスト・プラクティスをまとめておきます。 TL;DR EKSはまだプレビュー申込の段階。実際に動くものがあるかもわからない。 EKSとkops、kube-aws、kubesprayなどは組み合わせて使うもの。代替えにはならない。 SaaSありなら分散ログ、分散トレース、リソースモニタリングはDatadogに寄せると運用が楽 istioは安心して本番運用できるフェーズではない(Service Meshが必要なら、まだLinkerdのほうがよい) アプリケーションにPrometheusエンドポイントを生やしてメトリクスを取れるようにすべき アプリケーションはOpenTracingやZipkin、Jaegerなどのトレーサを組み込み、Zipkin
How Netflix Tunes EC2 Instances for Performance
CMP325 talk for AWS re:Invent 2017, by Brendan Gregg. " At Netflix we make the best use of AWS EC2 instance types and features to create a high performance cloud, achieving near bare metal speed for our workloads. This session will summarize the configuration, tuning, and activities for delivering the fastest possible EC2 instances, and will help other EC2 users improve performance, reduce latency
Amazon Linux で、Hyper-Threading を無効化する方法 | DevelopersIO
はじめに EC2 インスタンスを稼働させる AWS 基盤（仮想ホストサーバー）では、インテル®︎ ハイパースレッディング・テクノロジー（以降、HT）が利用可能な Xeon プロセッサーが利用されております。HT については、インテル社の公式サイトをご確認ください。 インテル® ハイパースレッディング・テクノロジー 2017/10 現在、AWS から提供されている EC2 インスタンスの仮想CPU 数は、論理コア数に相当しているため仮想CPU 数を 1/2 した個数分の物理コアが割り当てられていると理解できます。ただし、一部(※)の特定インスタンスを除きます。 インスタンスタイプ - Amazon EC2 (仮想サーバー) | AWS (※) 2017/10 現在、T2 および m3.medium を除く。 本記事では、Amazon Linux を利用した場合に OS インスタンス上から H
コマンドラインでEC2のコンソール画面テキスト（システムログ）を取得してgrep分析 - YOMON8.NET
EC2が原因不明で接続不可になることは以外に多いです。そんな時にVMWareやHyper-V、KVMみたいにコンソール画面に何が出ているのか確認したくなります。 AWSマネジメントコンソールから「インスタンスの設定」＞「システムログの取得」で以下のような画面が取得できるのですが、grepとかに流して調査するにはコピペしたりが必要で正直面倒です。 そんな時にはAWS CLIの aws ec2 get-console-output が便利です。ただ、このコマンドそのまま実行するとアウトプットに改行やらエスケープシーケンスやらが入って見難いです。 そこで、ポイントは --query 'Output' --output text のオプションを入れることです、これで実際のコンソール画面と同じような色つきで整形されたアウトプットが得られます。 $ aws ec2 get-console-output
AKIBA.aws 第1回 基礎編：「EC2の基礎 – パフォーマンスを100%引き出すオプション設定 -」で発表しました | DevelopersIO
こんにちは、菊池です。 昨日、8月31日にAWSをテーマにした勉強会、AKIBA.awsの第1回目を開始しました。 AKIBA.aws AKIBA.awsは、AWSを利用しているエンジニアを対象とした勉強会です。 日々進化を続けるAWSの技術動向を追い、参加者が相互に情報交換し、スキルを高めていくことができる場所にしたいと思っています。一方的に情報提供をするのではなく、発表を通じて質問やディスカッションを行い、発表者・参加者の双方で議論を深めていくことをイメージしています。 第一回は「基礎編」 初回ということで「基礎編」として、ELB、Route53、EC2といったAWSのベーシックなサービスを取り上げました。 「基礎」といっても「AWSとは」「EC2とは」のような、「入門」ではなく、すでにAWSを使っている前提で、改めて基本をしっかり押さえることでより上手にAWSを使えるようになるという
sshの鍵を作るときにちょっとだけ気にしたいこと | DevelopersIO
こんにちは、臼田です。 AWSでEC2と接続するためのsshの鍵の生成は、基本AWS側で行なってくれますが、ec2-user以外のユーザで別の鍵を利用したり、AWS以外でもGithub等のサービスに利用したりする際には自分でsshの鍵を作成すると思います。 本当にちょっとしたことですが、ssh-keygenで鍵を生成する際に気にしたいことを書きます。 普通に作ってみる ssh-keygenコマンドは対話式で鍵を生成することができます。 具体的には、下記のような動作になります。 $ ssh-keygen Generating public/private rsa key pair. Enter file in which to save the key (/Users/username/.ssh/id_rsa): /Users/username/.ssh/test Enter passphr
EC2 Run Command を使用した、SSH アクセスなしでの大規模なインスタンスの管理 | Amazon Web Services
Amazon Web Services ブログ EC2 Run Command を使用した、SSH アクセスなしでの大規模なインスタンスの管理 Ananth Vaidyanathan (EC2 Systems Manager のシニア製品マネージャー) および Rich Urmston (Pegasystems のクラウドアーキテクチャのシニアディレクター) によって書かれた次のゲスト投稿は、EC2 Run Command を使用して、SSH を用いることなく EC2 インスタンスの大量のコレクションを管理する方法を示しています。 — Jeff; 多くの場合、エンタープライズは管理対象環境および数千の Amazon EC2 インスタンスを持っています。Secure Shell (SSH) について悩むことなく、システムをセキュアに管理することが重要です。Amazon EC2 Systems
We switched to Amazon ECS and you won’t believe what happened next
The Mapbox platform is powered by Amazon Web Services — specifically, most of our computing workloads run on AWS EC2. We’re in the process of wrapping up a company-wide migration (led by the Platform team) onto Docker, hosted on AWS ECS (EC2 container service). Here’s what we’ve achieved by containerizing any and all of our computing needs: 1| Lower AWS bills. By switching to ECS we cut our EC2 bi
The Evolution of Container Usage at Netflix
Containers are already adding value to our proven globally available cloud platform based on Amazon EC2 virtual machines. We’ve shared pieces of Netflix’s container story in the past (video, slides), but this blog post will discuss containers at Netflix in depth. As part of this story, we will cover Titus: Netflix’s infrastructural foundation for container based applications. Titus provides Netfli
Ansibleのテストで使いたい8つのServerspec | DevelopersIO
渡辺です。 Ansibleを使っている皆様、テスト書いてますか？ え、書いてない？ 弊社では、社内共有しているAnsibleのRoleの検証にServerspecを利用しています。 今日はよく使うリソースタイプを紹介します。 テストの流れ テストのフレームワークとしてはTest Kitchenを利用しています（kitchen-ansiblepushを利用したAnsible roleのテスト環境構築）。 はじめに、Test KitchenのEC2 Driverを利用し、AWS環境にEC2インスタンスを作成します。 次に、ひとつのRoleを実行するAnsibleのPlaybookを流します。 続けて、サーバの状態が期待された状態になっているかをServerspecで検証します。 最後に、AWS環境にEC2インスタンスが破棄されます（検証失敗時は破棄されない）。 Ansibleでもテストの仕組み
みんGO を読んでec2インスンスリストをタグ検索するコマンドラインツールを作ってみた - 平日インプット週末アウトプットぶろぐ
プロジェクトでGO言語に触れながら学習のためにコマンドラインツールを作り拡張させながら言語理解を深めようと目標を立てた。「みんなのGO言語」を参考にしながら自作のコマンドラインツールを作ったのでまとめます。 みんなのGo言語[現場で使える実践テクニック] 作者: 松木雅幸,mattn,藤原俊一郎,中島大一,牧大輔,鈴木健太出版社/メーカー: 技術評論社発売日: 2016/09/09メディア: Kindle版この商品を含むブログを見る どんなコマンドラインツールを作ったか ec2インスタンスをタグ検索してインスタンス情報を取得できるコマンドラインツールを作りました。 生成したインスタンスリストをpecoでインクリメンタルサーチできるようにして選択したインスタンスにsshできるようなzsh関数も合わせて作りました。 作ったサブコマンドとpecoを組み合わせればインスタンスへのssh接続が快適に
ディープラーニング(seq2seq)でtwitter chatbotを作ってみた - Qiita
こんにちは。今年は冬休みをとても長くとったのですが、肉や蟹や餅や酒を連日消費しているうちに人体が終わっていき、気持ちになったので(様々な方向に感極まった状態のことを「気持ちになる」と表します)、世間で流行っているらしいディープラーニングの関連情報をつまみ食いしてチャットボットを作ってみることにしました。 入力文に対しニューラルネット(RNN)で応答文を生成して返事します。 @neural_chatbot というtwitterアカウントで動かしています。 ご興味があればぜひ@neural_chatbotに話しかけてみてください。 あらすじ ニューラルネットというものがあり、関数を近似することができ、知られています。 Recurrent Neural Network (RNN)というものがあり、内部状態を持つことができ、自然言語を含む可変長の系列を取り扱うのに便利で、知られています。 Sequ
Amazon EC2 セキュリティレシピ | DevelopersIO
最新のミドルウェアを使う 古いミドルウェアには脆弱性が含まれることがあります。 脆弱性によってその影響は様々です。 外部から比較的容易にサービス断を行えるものや、不正なコマンドを実行され情報を抜き取られるなどよりクリティカルなものもあります。 最新のミドルウェアを利用し定期的にアップデートするようにします。 ミドルウェアの脆弱性が見つかると、脆弱性情報データベースや各ベンダで公開されます。 Common Vulnerabilities and ExposuresやJapan Vulnerability Notesが有名です。 Amazon Linuxの場合、Amazon Linux AMI Security Centerで公開されます。 各サイトを巡回するには骨が折れるため、RSSやtwitterで情報収集されるかたも多いかと思います。 影響が大きい脆弱性については、全社周知が行われる組織
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - aelsabbahy/dargs: Enhance any command with dynamic arguments
Deep Dive on Amazon EC2 Instances (March 2017)
