AWS再入門2018 Amazon EC2 Auto Scaling編 | DevelopersIO
Amazon EC2 Auto Scalingを利用すると、需要に合わせてEC2の台数を増減できます。 これにより、コストとパフォーマンスのバランスをとれます。 Auto Scalingは素晴らしい機能ですが、よく理解して利用する必要があります。 Auto Scalingの基本的な内容と、マスターEC2を使ったAuto Scalingの運用方法をご紹介します。 Auto Scalingを構成する要素 Auto Scaling グループ Auto Scaling グループは、Auto Scalingの管理単位です。 グループを作成する際に、EC2の最小数、最大数、希望する数を指定します。 EC2の最小数と最大数の間で、インスタンス数が増減または維持されます。 ヘルスチェックのタイプ Auto Scalingは起動したインスタンスに対して、定期的なヘルスチェックを実行します。 インスタンスが正
Amazon EC2の最新基盤として「VMware Cloud on AWS」や「EC2ベアメタル」の実現にもつながったAWSの「Nitro System」とは？
Amazon EC2の最新基盤として「VMware Cloud on AWS」や「EC2ベアメタル」の実現にもつながったAWSの「Nitro System」とは？ Amazon Web Services（AWS）は、2017年11月に開催されたイベント「AWS re:Invent 2017」で、同社クラウド独自の基盤技術である「Nitro System」（ナイトロシステムと発音するようです）の存在を明かしました。 Nitro Systemは仮想マシンを提供するAmazon EC2を実現するためのサブシステムです。もともとAmazon EC2を実現するためにホストサーバで稼働していたソフトウェアを、AWSが独自に開発したハードウェアにオフロードしたもの。 Amazon EC2はAWSの中核的なサービスですから、Nitro SystemはAWSにおける最新の基盤技術と言っていいでしょう。 そし
【アップデート】Amazon EC2 Systems ManagerのPatch ManagerがLinuxに対応しました！！！ | DevelopersIO
【アップデート】Amazon EC2 Systems ManagerのPatch ManagerがLinuxに対応しました！！！ 森永です。 パッチ管理してますか？ 古いパッケージをそのまま使っていませんか？ 脆弱性を突いた攻撃の多くはパッチ管理をしていれば防げますが、後手に回っているという方も多いかと思います。 AWSではPatch Managerという素晴らしい機能があり、自動でパッチを適用することが出来ます。 こちらの機能はWindows限定の機能だったのですが、遂にLinuxに対応しました！！ Amazon EC2 Systems Manager Now Supports Linux Patching 対応Liuxディストリビューション 64-Bitと32-Bitの両方に対応 Amazon Linux 2014.03, 2014.09 以降 Ubuntu Server 12.04
Amazon EC2 Container Service(ECS)のデータモデルについて整理した | DevelopersIO
はじめに Amazon EC2 Container Service(以降ECS)はAmazon EC2上でDockerコンテナを稼働・管理するためのサービスです。私は最近ECSをよく触っており社内外の啓蒙活動も行っているのですが、「TaskとServiceってどう違うの？」「ECSのデータモデルがよくわからない」といったフィードバックを何度かもらいました。今日はECS学習のとっかかりとして、ECSで使われる概念について整理してみました。 概念 Task 前述の通り、ECSはDockerコンテナを起動、管理するためのサービスです。Dockerのベストプラクティスとして、基本的には1コンテナ1サービスであることが公式に推奨されています。 It is generally recommended that you separate areas of concern by using one ser
Amazon EC2 リザーブドインスタンスの利用状況をDatadogで監視する（AWS Summit Tokyo 2017 で発表してきました） - mixi engineer blog
はじめまして。北村です。 先日行われた AWS Summit Tokyo 2017 で、Datadog 様の EXPO セッション枠の一部を頂いて SNS「mixi」における Datadog 活用事例について紹介させていただきました。 speakerdeck.com 今回は、その発表の中で紹介させていただいた EC2 リザーブドインスタンスの管理・購入を支援する以下の自作ツールについて紹介をしたいと思います。 github.com ツールの概要 先にツールの概要を解説しますと AWS の API から得られた EC2 インスタンスの稼働状況とリザーブドインスタンス契約情報を集計し 稼働中のインスタンス数 有効なリザーブドインスタンス数 オンデマンドインスタンス数 未使用状態のリザーブドインスタンス数 以上の推移を、Datadog 上でリアルタイムで可視化するというインスタンス集計プログラム
趣味でディープラーニングするための GPU 環境を安上がりに作る方法 - Qiita
趣味でディープラーニングで遊ぶために GPU マシンを使いたい。 GPU は本当にすごくて、自分の MacBook Air で 2 時間かかるような学習が GPU を使うと 5 分足らずで終わる。CPU だけでディープラーニングするのは馬鹿馬鹿しいという気持ちになる。 しかし自宅に GPU マシンを組んだとしても四六時中計算し続けるわけでもないからもったいないし、ここはクラウドサービスを活用して安く済ませたい。1 さらに、最近では Docker コンテナ内から GPU を利用することができる NVIDIA Docker という Docker プラグインがあり、これを利用することで GPU マシンの環境を汚すことなく好きなだけ学習環境を立ち上げることができる。 今回は Amazon EC2 の GPU インスタンスと NVIDIA Docker を使って趣味用のディープラーニング環境を作った
GTC 2017にてAWSとNVIDIAは深層学習のパートナーシップを拡大させました | Amazon Web Services
Amazon Web Services ブログ GTC 2017にてAWSとNVIDIAは深層学習のパートナーシップを拡大させました 今年のNVIDIAのGPU Technology Conferenceにて、AWSとNVIDIAはいくつかのイニシアチブにおいてパートナーとなりました。1つ目はとてもワクワクしている最新のVoltaベースのGPUインスタンスで、LSTMの学習が3倍高速になるように、AI開発者が接する世界を完全に別物にしてしまうと我々は考えています。2つ目は、AWSで動いているDeep Learning Institute (DLI)を通じて10万人以上の開発者をトレーニングする計画を発表しました。3つ目として、広い開発者コミュニティのために深層学習を大規模にスケール可能とするツールの共同開発です。 GTCでAWSは複数のセッションを行っており、Apach MXNetを使って
CanonicalがAmazon EC2用にチューンしたUbuntuカーネルをリリース。最大でカーネルブートが30％高速、15％小さく、i3インスタンスのI/O性能向上など
CanonicalがAmazon EC2用にチューンしたUbuntuカーネルをリリース。最大でカーネルブートが30％高速、15％小さく、i3インスタンスのI/O性能向上など このAWS-tuned Ubuntu kernelはCanonicalとAWSが協力して開発したもので、Ubuntuの長期サポートリリースである「Ubuntu 16.04 LTS」に対応したもの。通常のUbuntuと同様にサポートやセキュリティメンテナンスを受けられると、発表の中で次のように説明されています。 The AWS-tuned Ubuntu kernel will receive the same level of support and security maintenance as all supported Ubuntu kernels for the duration of the Ubuntu 16
Amazon EC2インスタンスにホストベースの侵入検知システムアラートの監視方法 | Amazon Web Services
Amazon Web Services ブログ Amazon EC2インスタンスにホストベースの侵入検知システムアラートの監視方法 AWSリソースを安全に保護するためのアプローチとして、予防のための仕組み、検知のため仕組みといったそれぞれのレイヤーでのアプローチを検討頂くことを推奨しています。たとえば、Amazon EC2インスタンスにホストベースのコントロールを組み込むことで、アクセスを制限し、システムの動作やアクセスパターンに伴う適切なレベルの可視性を準備できます。これらのコントロールには、ホスト上のネットワークトラフィック、ログファイル、およびファイルアクセスを監視・分析するホストベースの侵入検知システム（HIDS）を含むことが一般的です。 HIDSは、通常、警告、自動修復ソリューションと統合され、攻撃、許可されていない活動、疑わしい活動、環境内の一般的なエラーを検出し対処します。
既存のAmazon EC2インスタンスにIAM Roleがアタッチできるようになりました | Amazon Web Services
Amazon Web Services ブログ 既存のAmazon EC2インスタンスにIAM Roleがアタッチできるようになりました AWS Identity and Access Management(IAM) のロール を利用することで、Amazon EC2上で実行するアプリケーションは、AWSが自動的に作成、配布、およびローテーションする一時的なセキュリティ資格情報を利用することができます。一時的な資格情報を使用することは、IAMのベストプラクティスとなっており、インスタンスで長期間の鍵の管理する必要がなくなります。IAM Roles for EC2 (EC2のIAMロール)を使用することで、長期的なAWSアクセスキーを手動またはプログラムで管理する必要もなくなります。そして本日、既存のEC2インスタンスにIAMロールをアタッチすることが可能になり、アプリケーションはAWSによっ
ディープラーニング(seq2seq)でtwitter chatbotを作ってみた - Qiita
こんにちは。今年は冬休みをとても長くとったのですが、肉や蟹や餅や酒を連日消費しているうちに人体が終わっていき、気持ちになったので(様々な方向に感極まった状態のことを「気持ちになる」と表します)、世間で流行っているらしいディープラーニングの関連情報をつまみ食いしてチャットボットを作ってみることにしました。 入力文に対しニューラルネット(RNN)で応答文を生成して返事します。 @neural_chatbot というtwitterアカウントで動かしています。 ご興味があればぜひ@neural_chatbotに話しかけてみてください。 あらすじ ニューラルネットというものがあり、関数を近似することができ、知られています。 Recurrent Neural Network (RNN)というものがあり、内部状態を持つことができ、自然言語を含む可変長の系列を取り扱うのに便利で、知られています。 Sequ
Blox – Amazon EC2 Container Serviceのための新しいオープンソーススケジューラ | Amazon Web Services
Amazon Web Services ブログ Blox – Amazon EC2 Container Serviceのための新しいオープンソーススケジューラ 2014年、私はAmazon ECSについてお話して、Dockerベースのアプリケーションをビルドし実行し、そしてスケールさせることを如何に手助けしてくれるかをご紹介しました。そこでは3つのスケジューリングの選択肢(自動、手動、そしてカスタム)について話をし、スケジューラがインスタンスにどの様にタスクを割り当てるかを説明しました。 その時書いた記事では、カスタムスケジューラは現在のクラスタの状態を見るためにListContainerInstancesとDescribeContainerInstancesを定期的に呼び出す必要があると記しました。数週前、CloudWatch Eventsのサポートを追加することで各クラスタの状態を追跡
［速報］Dockerイメージを管理する「Amazon EC2 Container Registry」発表。AWS re:Invent 2015
［速報］Dockerイメージを管理する「Amazon EC2 Container Registry」発表。AWS re:Invent 2015 Amazon Web Servicesがラスベガスで開催している「AWS re:Invent 2015」。2日目の基調講演で、Dockerのコンテナイメージを管理する新サービス「Amazon EC2 Container Registry」が発表されました。 「Amazon EC2 Container Registry」は、フルマネージドなDockerコンテナイメージのレジストリ。Dockerイメージの保存、管理、配布といった機能を備えています。 すでにAmazonクラウドではDockerコンテナを利用するための「Amazon EC2 Container Service」（Amazon ECS）が提供されています。今回発表されたAmazon EC2
Docker対応の「Amazon EC2 Container Service」正式公開。コンテナ群のロードバランス、スケールアウト、デプロイ機能なども強化
Docker対応の「Amazon EC2 Container Service」正式公開。コンテナ群のロードバランス、スケールアウト、デプロイ機能なども強化 Amazonクラウドは、Dockerに対応した「Amazon EC2 Container Service」の正式公開と、コンテナをクラスタ化して管理できる機能強化、先週サンフランシスコで開催されたAWS Summit 2015 San Francisco 2015で発表しました。 正式公開に合わせて新しい管理コンソールが追加され、APIの履歴を記録するCloudTrailにも対応。東京リージョンでも利用可能になっています。 コンテナの運用環境も強化 さらに、コンテナをクラスタ化した運用のための機能群も追加されました。 アプリケーションの負荷に応じて稼働中のコンテナを増減する機能。分散して稼働するコンテナにトラフィックを振り分けるロードバ
CentOS on Amazon EC2 でディスクサイズ変更しても変わらないときの対処方法 | DevelopersIO
こんにちは、梶です。 AWS MarketplaceのCentOS 6 (x86_64) - with Updates HVMから、Tokyoリージョンで新規インスタンスをlaunchする際に、ディスクサイズを20GBで指定しましたが、OS側の認識がデフォルトの8GBのままなので対応方法を公開いたします。小ネタです。 パーテーションサイズが変更されていないのはわかったのですが、別インスタンスにVolumeをAttachしてパーテーションサイズを修正しようとしてもダメだったりして、かなりハマりましたので誰かのお役に立てたら光栄です。 以下のブログの構築した際、ディスクサイズ変更で問題が発生し調査することになりました。 AWSでのBacklogエンタープライズサーバの構築 事象 launch後のdfコマンドでは以下の結果となります。 （20GBで指定しても、8GBのまま） # df -h Fi
AWS News Blog
Amazon SageMaker Geospatial Capabilities Now Generally Available with Security Updates and More Use Case Samples At AWS re:Invent 2022, we previewed Amazon SageMaker geospatial capabilities, allowing data scientists and machine learning (ML) engineers to build, train, and deploy ML models using geospatial data. Geospatial ML with Amazon SageMaker supports access to readily available geospatial dat
米動画配信のNetflix、Chaos MonkeyのおかげでAmazon EC2のメンテナンスリブートを難なく乗り切る
Amazon EC2は9月末、その内部で使用しているXenハイパーバイザのセキュリティリスクに対処するため、全インスタンスの約10％にあたるインスタンスに対して段階的にリブートを行うメンテナンスを実行していました。 リブートをユーザーが回避する手段はなく、AWSから事前に通知を受けたユーザーはリブートによってデータを失ったりシステムがダウンしたりしないように、何らかの処置をする必要がありました。 AWS上で大規模なシステムを運用しつつもこのメンテナンスリブートを難なく乗り切ったのが、米国で動画配信サービスなどを運用するNetflixです。その理由は同社が開発したChaos Monkeyというツールにありました。 同社のブログにポストされた記事「A State of Xen - Chaos Monkey & Cassandra」で、その顛末が紹介されています。 Chaos Monkeyによっ
Amazon S3に別アカウントから書き込みを許可する場合の設定 | iret.media
cloudpack の 磯辺(@muramasa64)です。 あるバケットに、別のアカウントから読み書きできるようにバケットポリシーを定義したい。普通に考えると、下記のような感じになるだろう。 { "Version": "2012-10-17", "Id": "Policy1406782030997", "Statement": [ { "Sid": "Stmt1406782027567", "Action": [ "s3:PutObject", "s3:GetObject", "s3:DeleteObject", "s3:ListBucket", ], "Effect": "Allow", "Resource": [ "arn:aws:s3:::s3-acl-test", "arn:aws:s3:::s3-acl-test/*" ], "Principal": { "AWS": [ "0
libswarmの現状と将来 | SOTA
libswarmの現状と将来 DockerCon14で新たに発表されたDockerによる新しいOSSであるlibswarmをざっと触ってみたので，現状何ができて，将来的にどういったことができそうになるかを簡単にまとめておく． TL;DR libswarmを使うと複数ホストやサービス（自社サーバー，DigitalOcean，Amazon EC2，Orchardなど）に存在するDockerコンテナを，１つのホストに存在しているかのように扱うことができるようになる．Dockerがホストを抽象化したのに対して，libswarmは複数ホストを抽象化する． libswarmを使ったswarmdコマンドを使って，UNIXのパイプのように複数ホストやサービスを連鎖的につなげる． デモ libswarmで何ができるのかは，DockerCon14でのデモ動画“Orchard + libswarm demo f
AWS News Blog
AWS Weekly Roundup – AWS AppSync, AWS CodePipeline, Events and More – August 21, 2023 In a few days, I will board a plane towards the south. My tour around Latin America starts. But I won’t be alone in this adventure, you can find some other News Blog authors, like Jeff or Seb, speaking at AWS Community Days and local events in Peru, Argentina, Chile, and Uruguay. If you see […] New – Amazon EC2 H
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
