踏み台EC2を廃止してSession Manager接続に置き換えました
こんにちは、エウレカ SRE チームの原田です。 今年 (2021年) エウレカでは、公開鍵認証で接続するEC2の踏み台サーバを廃止し、代わりに各サーバへの接続をIAMで認証できるSSM Session Managerへのリプレースを行いました。本記事ではそのモチベーションや、実装のポイントを紹介していきたいと思います。 旧来の踏み台サーバ 旧来の踏み台サーバエウレカで長く運用されていた踏み台サーバ (Gateway) は以下のようなものでした。 各開発者は、自分の秘密鍵を使って踏み台サーバへSSHを行う ( 踏み台サーバ上には各開発者の個別ユーザーおよび公開鍵が登録されている )踏み台上では、接続が許可されているSSH対象のサーバの秘密鍵がユーザー毎に配置されており、その鍵で各サーバにSSHするMySQL / Elasticsearch / Redis など、Private Subnet
Amazon EC2 を Arm に切り替えたら幸せなことしかありませんでした | CyberAgent Developers Blog
技術本部 サービスリライアビリティグループ（SRG）の長谷川 @rarirureluis です👳 #SRG（Service Reliability Group）は、主に弊社メディアサービスのインフラ周りを横断的にサポートしており、既存サービスの改善や新規立ち上げ、OSS貢献などを行っているグループです。 はじめに Apple M1 で Arm という単語をよく耳にし、そしてその性能に驚いた方も多いと思います。Apple M1 が搭載された Mac のベンチマークはこちら そして Amazon EC2（以下：EC2）にも Arm が搭載されたインスタンスがあります。 https://aws.amazon.com/jp/ec2/graviton/ 今回はとあるサービスの全開発環境の EC2 インスタンスを m5.large から t4g.medium へ移行したら幸せになれたので、この記事を
New – Predictive Scaling for EC2, Powered by Machine Learning | AWS News Blog
AWS News Blog New – Predictive Scaling for EC2, Powered by Machine Learning Update May 21, 2021 – Predictive Scaling is now available natively in EC2 Auto Scaling for easier configuration. See our documentation for more information and to get started. When I look back on the history of AWS and think about the launches that truly signify the fundamentally dynamic, on-demand nature of the cloud, two
LambdaのScheduleイベントでEC2を自動起動＆自動停止してみた#reinvent | DevelopersIO
はじめに Lambdaがアップデートされ、スケジュール機能が使えるようになりました。 当ブログでも紹介されています。 ・【速報】AWS Lambdaの機能拡張が数多くきました！VPC対応、ロングランニング、スケジュール、バージョニング、Python対応！ #reinvent ・AWS Lambda の Scheduled Event を試してみた #reinvent 皆さんは日中帯や平日のみ使うサーバをお持ちでしょうか。 開発用のインスタンスであれば、業務時間だけ使えればOKなんて事もあるかと思います。 スケジュール機能を使ってEC2インスタンスを自動起動＆自動停止してみました。 セットアップ手順 Lambda Functionの作成 LambdaのWEBコンソールにて、「Create a Lamdba function」を選択します。 Step 1: Select blueprintは、
Windows Server on EC2 with githubで Jenkins を動かすまで - Qiita
背景 ファームウェア開発では自動ビルドは品質を担保する基盤になるので早めに導入しておきたい。 けれども自前のビルドサーバーを運用は大変。 かつ、今回は開発環境の縛りで Windows 環境が必要だった。 なので、WindowsServer 2012 on EC2 @ AWS で Jenkins を動かすところまでやってみた。 ソースはgit hubを使用しているのでそこもメモ。 AWS の登録から （ここからかよっ！） 組み込みワールドにこもっていたのでサーバー運用なんてしたことありません。 AWS ってどうやって使うの？から入ります。 登録〜インスタンス作成 をサーフィンしていると、あちこちに「無料で始めてみる」があるので、始めてみる。 お決まりの登録作業で進んでいく。 ここも参考にしました。LIGさまのブログはわかりやすくていつもお世話になっています。 わずか5分！？ AWSのEC2で
Amazon EC2 の新しい P2 インスタンスタイプ – 最大 16 GPU | Amazon Web Services
インスタンスはすべて 2.7 GHz で実行している Intel の Broadwell プロセッサで AWS 固有バージョンを使用しています。p2.16xlarge は C ステートと P ステートのコントロールを可能にするほか、1 コアまたは 2 コアで実行している場合に 3.0 GHz まで高速化することができます。 GPU は CUDA 7.5 以上、 OpenCL 1.2 と GPU コンピューティング API をサポートします。p2.8xlarge と p2.16xlarge の GPU は一般的な PCI fabric 経由で接続します。これにより低レイテンシーのピアツーピア でのGPU間の転送を可能にします。 インスタンスはすべて新しい Enhanced Network Adapter を使用します (ENA – 詳しくは「Elastic Network Adapter –
Blox – Amazon EC2 Container Serviceのための新しいオープンソーススケジューラ | Amazon Web Services
Amazon Web Services ブログ Blox – Amazon EC2 Container Serviceのための新しいオープンソーススケジューラ 2014年、私はAmazon ECSについてお話して、Dockerベースのアプリケーションをビルドし実行し、そしてスケールさせることを如何に手助けしてくれるかをご紹介しました。そこでは3つのスケジューリングの選択肢(自動、手動、そしてカスタム)について話をし、スケジューラがインスタンスにどの様にタスクを割り当てるかを説明しました。 その時書いた記事では、カスタムスケジューラは現在のクラスタの状態を見るためにListContainerInstancesとDescribeContainerInstancesを定期的に呼び出す必要があると記しました。数週前、CloudWatch Eventsのサポートを追加することで各クラスタの状態を追跡
Fixing Files on the Root EBS Volume of an EC2 Instance · Alestic.com - A Personal AWS Blog by Eric Hammond
You can examine and edit files on the root EBS volume on an EC2 instance even if you are in what you considered a disastrous situation like: You lost your ssh key or forgot your password You made a mistake editing the /etc/sudoers file and can no longer gain root access with sudo to fix it Your long running instance is hung for some reason, cannot be contacted, and fails to boot properly You need
New P2 Instance Type for Amazon EC2 – Up to 16 GPUs | Amazon Web Services
All of the instances are powered by an AWS-Specific version of Intel’s Broadwell processor, running at 2.7 GHz. The p2.16xlarge gives you control over C-states and P-states, and can turbo boost up to 3.0 GHz when running on 1 or 2 cores. The GPUs support CUDA 7.5 and above, OpenCL 1.2, and the GPU Compute APIs. The GPUs on the p2.8xlarge and the p2.16xlarge are connected via a common PCI fabric. T
Distributed Neural Networks with GPUs in the AWS Cloud
by Alex Chen, Justin Basilico, and Xavier Amatriain As we have described previously on this blog, at Netflix we are constantly innovating by looking for better ways to find the best movies and TV shows for our members. When a new algorithmic technique such as Deep Learning shows promising results in other domains (e.g. Image Recognition, Neuro-imaging, Language Models, and Speech Recognition), it
情弱だけどディープラーニングフレームワークCaffeを使ってみたい - Qiita
TL;DR← 下記の２記事を読めば終わり。 EC2でCUDAを使いたい GPUインスタンス上でDocker使ってCaffeしたい はじめに どうも、情弱太郎です。 最近、ディープラーニングという言葉は持て囃されていますね。 昔のビックデータのそれを思い出しました。 その辺のオジサン（sucks）が部下に『ほら、最近パソコンがネコ分かるようになった、あー、あれ、ドープラーニングだっけ？アレでなんかできないの？』って言われたときに対応できるようにしておきたくなったので、ディープラーニングしてみることにしました。 ディープラーニング、いろいろ実装があるみたいです。 最近だと https://github.com/NervanaSystems/neon これも良さげですが、使い方が全く分からないです。 なんだかんだでCaffeってのがドキュメントちゃんとしてる風なので、Caffeをやってみることに
Amazon EC2 を立ち上げてみて まず最初にしたこと - bluepapa32’s Java Blog
EC2 Micro Instance を起動してみて まず最初にしたことを とりあえずメモ... Security Group の設定 SSH の設定 Locale の変更 環境変数 LANG の変更 スワップファイル の作成 Security Group の設定 default の Security Group は 外部からのアクセスを一切許可しないように初期設定されているので まず最初に外部の端末から SSH でアクセスできるように AWS Management Console から のように Security Group に定義を追加. SSH の設定 EC2 上のサーバに SSH で接続する場合、 Key Pair 生成時にダウンロードしておいた Private Key (xxxxx.pem) を使ったキー認証が必須。 ターミナルを開いて $ mv ~/Downloads/xxxx
Prismatic Architecture - Using Machine Learning on Social Networks to Figure Out What You Should Read on the Web - High Scalability -
« Prismatic Update: Machine Learning on Documents and Users | Main | Stuff The Internet Says On Scalability For July 27, 2012 » This post on Prismatic’s Architecture is adapted from an email conversation with Prismatic programmer Jason Wolfe. What should you read on the web today? Any thoroughly modern person must solve this dilemma every day, usually using some occult process to divine what’s imp
How to crawl a quarter billion webpages in 40 hours – DDI
More precisely, I crawled 250,113,669 pages for just under 580 dollars in 39 hours and 25 minutes, using 20 Amazon EC2 machine instances. I carried out this project because (among several other reasons) I wanted to understand what resources are required to crawl a small but non-trivial fraction of the web. In this post I describe some details of what I did. Of course, there’s nothing especially ne
Pinterest Architecture Update - 18 Million Visitors, 10x Growth,12 Employees, 410 TB of Data - High Scalability -
« Sponsored Post: Torbit, Infragistics, Velocity, Reality Check Network, Gigaspaces, AiCache, Logic Monitor, Attribution Modeling, New Relic, AppDynamics, CloudSigma, ManageEnine, Site24x7 | Main | Stuff The Internet Says On Scalability For May 18, 2012 » There has been an update on Pinterest: Pinterest growth driven by Amazon cloud scalability since our last post: A Short on the Pinterest Stack f
How To: Getting Started with Amazon EC2
Amazon EC2 is among the more potent items in Amazon's web services arsenal. You've probably heard of many of the other services such as S3 for storage and FPS for payments. EC2 is all about the "elastic compute cloud." In layman's terms, it's a server. In slightly less layman's terms, EC2 lets you easily run and manage many instances (like servers) and given the proper software and configurations,
Amazon EC2のディスクI/O性能ランキング | DevelopersIO
はじめに 過去３回に渡ってご紹介してきました、Amazon EC2のディスクI/O性能の測定について、今回は最終回としてランキングをグラフで表示したいと思います。 ディスク書き込みランキング Epemeral StoreのRAID0構成はとても早いですね。 ディスクリライトランキング Epemeral StoreのRAID0構成はとても早いですね。 ディスク読み込みランキング グラフがカクカクしているのはディスクの性能というよりもデータ転送のバンド幅（通信路）の影響を受けてそうですね。読み込み速度はRAID0に関係なくインスタンスタイプによって速度が上がる事が分かります。 ディスクシークランキング Epemeral Storeの単体はとても遅いですね。Extra Largeインスタンス以上であれば早くなっています。 まとめ ディスクI/O性能は、EBSかEphemeralか、どのインスタン
Factual | Gratuitous Hadoop: Stress Testing on the Cheap with Hadoop Streaming and EC2
Return to Blog Gratuitous Hadoop: Stress Testing on the Cheap with Hadoop Streaming and EC2 Things have a funny way of working out this way. A couple features were pushed back from a previous release and some last minute improvements were thrown in, and suddenly we found ourselves dragging out a lot more fresh code in our release than usual. All this the night before one of our heavy API users was
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
PowerPoint プレゼンテーション
BackType Case Study: Amazon Web Services