Cloud connect the world as a Glue - AWS Dev Day 2017IaaSにおけるPlatform Engineeringとこれから / Platform engineering in IaaS
AWSの進化とSmartNewsの裏側
SmartNews has evolved its use of AWS over time from a monolithic application to microservices as its scale increased. It now uses over 300 EC2 instances, 80 ELBs, and many other AWS services. Configuration management has moved from pull-style deploys to using tools like CodeDeploy, Auto Scaling Groups, and infrastructure as code. Future plans include further containerization and event aggregation
AWS インスタンス別ネットワーク帯域・InstanceStore IOPS測定 - Qiita
#!/bin/sh INSTANCE_TYPE=$(curl -s http://169.254.169.254/2014-11-05/meta-data/instance-type) yum install fio -y umount /media/ephemeral0 time dd if=/dev/zero of=/dev/xvdb bs=1M sudo mkfs.ext4 /dev/xvdb mount /media/ephemeral0 for i in `seq 0 3`;do time fio -name=random-write \ --output=/home/ec2-user/${INSTANCE_TYPE}-${i}.txt \ -ioengine=libaio \ -rw=randrw \ -rwmixread=0 \ -bs=16k \ -numjobs=16 \
AWSとGCPを使用したインフラ環境
TakusutaTechConf #1 での発表資料です。 http://connpass.com/event/21361/Read less
複数のクラウドサービス間でオブジェクトストレージの中身を同期する - クックパッド開発者ブログ
複数のクラウドサービス間でオブジェクトストレージの中身を同期する こんにちは。インフラストラクチャー部の加藤(@EugeneK)です。 クックパッドのすべてのレシピやつくれぽ等の画像はAmazon Web Services(以下AWS)のSimple Storage Service(以下S3)にオブジェクトとして保存されています。 S3は99.999999999%の堅牢性と99.99%の可用性を謳っていますが、ユーザさんから預かった大切なデータを守るため、万一に備えて別のクラウドストレージにもバックアップを行っています。 今回はそのオブジェクトを準リアルタイムでGoogle Cloud Storage(以下GCS)に同期されるようにした話をします。 S3にオブジェクトが追加されたことを知る S3にはEvent Notificationという機能があります。 この機能を用いると、S3のバケッ
GoogleスプレッドシートからAWSを操作する
最近、TerraformやCloudFormationみたいに、JSONや独自DSLなどでかっこよくAWSを管理するツールがいろいろ出てきてます。 こういうツールは便利そうだなとは思うんですが、なんかふと、ユーザがホントに求めているものはコレなんだろうか？と思いました。 なんだかんだ言って、一番多く使われているサーバ管理ツールは『Excelサーバ一覧』なのではｗ？ じゃあExcelで同じようなことが出来ればそれが一番いいのでは？と。 というわけで、Excelは手元になくてキツイので、今回はGoogleスプレッドシートでAWSのサーバ構成管理をやってみました。 使い方 事前準備 サンプルのスプレッドシートをコピーする 『ツール』 -> 『スクリプトエディタ』 -> config.gsを編集 AWS_ACCESS_KEY_ID、AWS_SECRET_ACCESS_KEYにAWSのアクセスキーを
作業マシンとしてのGCEプリエンプティブインスタンスとAWSスポットインスタンスの比較 - Qiita
ベンチマークや重いソフトウェアのビルドなど、ノートPCには適していない作業をするマシンとして、いままで AWS のスポットインスタンスを使っていました。 しかし5月に GCE のプリエンプティブインスタンスが出て、試してみたところ予想以上に快適でした。 こういったスポットでの作業環境としてのプリエンプティブインスタンスのメリットを紹介していきます。 起動が早い スポットインスタンスは、入札してから実際にマシンが起動するまでのタイムラグが5分程度ありました。 プリエンプティブインスタンスは、通常の Compute Engine のインスタンスのオプションという扱いなので、入札という手順が存在せず、1分程度で起動できます。 設定が簡単 AWS だと新しいインスタンスを使おうとすると VPC の設定が必要だったり、セキュリティグループの設定をしないと起動した２台のマシン間での通信すらできなかった
ソーシャルゲームにおける AWS 移行事例 - YAPC::Asia Tokyo 2015
株式会社カヤックでは今年の 1 ~ 3 月にかけて、 運用しているソーシャルゲーム 3 タイトルをオンプレミス環境から AWS に移行しました。 Perl で実装されているそれぞれのタイトルを事例に、 AWS 移行の知見を共有し、アーキテクチャについてお話ししたいと思います。 事例はソーシャルゲームですが、他の分野にも応用ができるお話しになる予定です。 全てのゲームで consul を活用していますので、consul の導入事例もお話しできると思います。 本発表では、以下のトピックについてお話しします。 AWS 移行によるメリット・デメリット 機能面、金額面 オンプレミス環境の MySQLから RDS へ移行する際の注意点 MySQL のデータ移行時間を200分から95分に短縮した話し consul の DNS と Health Check 機能の活用方法 consul と stretch
【ELB】負荷分散とEC2へのリクエスト数との関係について調べてみた | DevelopersIO
はじめに こんにちは植木和樹です。今回はAWSで提供されているロードバランシングサービス ELBについて調べてみました。 ELBとは ELB(Elastic Load Balancing)サービスはその名の通りロードバランサを提供するサービスです。ロードバランサとは、Webサーバやアプリケーションサーバが複数あった場合に通信負荷が均一になるように分散してくれる装置です。商用製品としてはF5社のBIG-IPなどが有名です。 ELBについては弊社ブログ「Elastic Load Balancingで複数のゾーンにわたって振り分けるときに気をつけること」にまとまっていますので、ぜひそちらをご覧ください。 同一AZ内でどのように負荷は分散されるのか? さて今回は同一AZ(アベイラビリティ・ゾーン)内に2つのEC2インスタンスがあった場合、それらへの負荷がどのように分散されるか、について調べてみまし
Amazon S3の画像をAWS Cloudfrontで配信するキャッシュコントロールをAWS Lambdaで自動化する | DevelopersIO
こんにちは、せーのです。今日はS3の画像をCloudfrontで配信する際のコツを自動化してしまおう、という試みです。 Cloudfrontキャッシュコントロールおさらい Cloudfrontは静的、動的関わらずキャッシュしてくれるとても便利なCDNサービスですが、Cloudfrontにてキャッシュしてくれる時間（TTL）は基本Cache-Control max-ageヘッダやExpiresにて制御します。更にCloudfront自体の設定にも[minimum TTL]というものがあり、これはヘッダで設定されたキャッシュ時間を強制的に上書きするためのものです。 ここで理解しておきたいのが「ヘッダとminimum TTLのキャッシュ時間の関係」です。詳しくはこちらの記事に書いてありますが、基本的には「キャッシュコントロールはヘッダありき。ヘッダの設定より長く強制的に上書きしたい時にminim
AWS News Blog
New – Amazon EC2 Hpc7a Instances Powered by 4th Gen AMD EPYC Processors Optimized for High Performance Computing In January 2022, we launched Amazon EC2 Hpc6a instances for customers to efficiently run their compute-bound high performance computing (HPC) workloads on AWS with up to 65 percent better price performance over comparable x86-based compute-optimized instances. As their jobs grow more co
S3からGCSへ簡単にファイル移行する方法
Lv：41 Exp：307868 普段はGCP専門のエンジニアをやっています。 最近は個人的な活動としてGOとswiftでアプリ作ってます。 G+ はじめに クラウドという言葉が当たり前になってきている現在、ファイルサーバは自前で持つ時代から、サービスとして利用する時代へと変わってきていると思います。 おそらく、自前のファイルサーバからGoogle Cloud Storage(以下GCS)やAmazon Simple Storage Sewrvice(以下S3)等のストレージサービスに乗り換えた企業も少なくはないのではないでしょうか。 ただ、今後は価格やパフォーマンスの競争によって、クラウドからクラウドへの移行も増えてくると思われます。というわけで、今回のapps-gcpでは「ストレージの移行」について取り上げます。 ずばり、S3からGCSへのストレージ間データ移行です。GoogleはS3
DeNAを退職してAWSにJoinしました - As a Futurist...
タイトルの通りですが、12 月末で 6 年弱勤めた DeNA を退職して、1 月から AWS に Join してます。日本の Solution Architect です。初めての B2B のお仕事なので新卒新入社員の気持ちです。新卒入社時の予定ではもうアメリカに留学してるはずだったのに、どうしてこうなったのやら。。。 さて、DeNA にはエンジニア未経験の状態からここまで力を付けさせてもらって大変感謝しています。売上に直接貢献するような仕事はほとんどできなかったですが、起こらなかった問題に対する貢献は少しは出来たかなと思っています。そういえばここではちゃんと書いてなかったですが、最後の１年間は MYCODE という遺伝子解析サービスの開発をゼロから行っていて、何もないところからリリースまで辿り着くという産みの苦しみを味わうことができて非常にエキサイティングでした。ちょっとだけですが Sec
「クラウド化は、コスト削減のためとちゃいます」 東急ハンズ・長谷川秀樹氏がAWSイベントで語る
東急ハンズにて情報システムと通販事業の責任者を務める長谷川秀樹氏が、AWS Cloud Roadshow 福岡 powered by Intel に登壇。大手小売企業が仮想サーバを導入するにあたって注意した点、また新しく気がついた点を具体的に列挙。後発組へもAWSの採用を勧めました。 東急グループにおける情シスの責任者が登壇 長谷川秀樹氏：東急ハンズ、長谷川でございます。よろしくお願いします。「一体何者やねん？」っちゅうところなんですけども、東急ハンズで情シス（情報システム）と通販事業の責任者をやっています。ハンズラボという会社で、これSI（システムインテグレーション）の会社なんですけど、そこで代表やらさせてもらっています。 あとは東急不動産ホールディングスのほうで、マーケティングIT戦略部長みたいなのもやらさせてもらっています。今日はどっちかと言うと、ユーザー企業の情シス部長みたいな感じ
コストを下げろと言われたら~AWSでまずやること~ - Qiita
こんにちは。CYBIRDエンジニア Advent Calendar 9日目のgucchonです。 新卒2年目、webエンジニアです。 8日目はkeitarouさんのGitHubをもっと便利にするためのChrome拡張とかでした。 全くGitHub使えてなかったんだな…と身にしみる内容でした。お恥ずかしながら… 本日の内容 「サーバ費、もっと下がらない？」 なかなか聞きたくない言葉ですね。サービスを継続させていく上では当然コスト面をしっかり考えて運用をしていかなくてはいけないのですが、まぁ正直めんd...少しばかり手間です。ただ、AWSならある程度簡単にコスト管理ができて、対応策も用意されているので助かりますね。それでも誰もやりたがらないけど(ﾎﾞｿｯ ということで、コストを下げろと言われてしまったとき、CYBIRDのコストカッター、gucchonがまずやっていることをご紹介したいと思います
AWSサービスの各種上限値一覧 | DevelopersIO
2015/11/13追記：現行のサービスにおける上限値や制限値については下記のAWS公式ページに情報がまとまっているようです。サービス毎の状況を確認される場合はこちらをご参照ください。 - AWS Service Limits - Amazon Web Services - AWS サービス制限 - アマゾン ウェブ サービス AWSでインフラ構築作業を行っていると、規模によってはあっという間に(定められている)要素数の上限に達してしまいます。後述する『上限緩和申請』を行えばその上限は増やす事が出来るのですが、実際に構築を行う前にその辺りの申請はスムーズに済ませておきたいところ。と言うわけで、現在AWSで利用上限が定められている要素とそれらの上限を増やす(上限緩和申請)ための依頼フォームの情報を個人的学習目的及び今後の備忘録として整理してみました。 AWS Service Limits(A
Blippex
Since years we have used Amazon Web Service for our hosting. It is a great idea and works wonderful for a startup. But since a few days Blippex is running on our own servers at OVH, here is why: Costs AWS is great for a startup, you think you need to put the cache-server on a extra machine? Test it with a few mouse clicks! Need storage? great, use S3 for unlimited storage! And at the first glance
AWS News Blog
Amazon SageMaker Geospatial Capabilities Now Generally Available with Security Updates and More Use Case Samples At AWS re:Invent 2022, we previewed Amazon SageMaker geospatial capabilities, allowing data scientists and machine learning (ML) engineers to build, train, and deploy ML models using geospatial data. Geospatial ML with Amazon SageMaker supports access to readily available geospatial dat
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
[AWSマイスターシリーズ]Amazon Elastic Load Balancing (ELB)![[AWSマイスターシリーズ]Amazon Elastic Load Balancing (ELB)](https://cdn-ak-scissors.b.st-hatena.com/image/square/9b2a1cd9efe876a722ec87c75559544dc015e5d2/height=288;version=1;width=512/https%3A%2F%2Fcdn.slidesharecdn.com%2Fss_thumbnails%2F20130612aws-meister-regenerate-elb-public-130612232128-phpapp01-thumbnail.jpg%3Fwidth%3D640%26height%3D640%26fit%3Dbounds)
AWS コマンドラインインターフェイス（CLI: AWSサービスを管理する統合ツール）| AWS