AWS料金早見表
サーバレスアーキテクチャ構成にしたときに 実際のところ、どれくらいの料金になるのか気になったので算出してみようと思います。 (あくまでシミュレーションしたものでAWS側で値段や計算方法が変わったりするため、責任は負いかねますので導入する際は自己責任でお願いします。) AWSのどこにどれくらいの料金がかかっているのか知ることは大事だと思ったのですが、トータルだとなかなかまとまってなかったのでまとめてみました。 間違ってたらご指摘いただけると助かります。 サーバレスアーキテクチャって何？って方はこちら参照してください 世界に先駆けてAWSサーバレスアーキテクチャでユーザ認証とAPI認可の実装をしてみた AWSサーバレスアーキテクチャでCloudFrontからWAFをかけてAPI Gatewayを呼ぶ Lambda+RDSはアンチパターン 全部教えます！ サーバレスアプリのアンチパターン とチュ
みんなのウェディングのデータ分析基盤の現状 — みんなのウェディングエンジニアリングブログ
こんにちは、みんなのウェディングの小室 (id:hogelog) です。 今回はみんなのウェディングにおけるデータ分析基盤の現状についてご報告させていただきます。 三行まとめ 忙しい人のために先に結論を書くと bricolage と embulk で Redshift に集めて re:dash で分析 です。 データ収集 データ収集は bricolage のジョブネット機構を用いて bricolage の各種ジョブや embulk を連携させ、Redshift にデータを取り込んでいます。 参考までに https://github.com/hogelog/dwh-example に簡単な構成例を準備しました。 MySQL → Redshift みんなのウェディング http://www.mwed.jp/ のデータベースとしては MySQL を利用しています。 MySQL から Redshi
ドワンゴエンジニアとしてAWS Summit Tokyo 2016で登壇してきた - namusyakaぶろぐ
AWS Summit Tokyo 2016のDevelopers Conferenceで、「ドワンゴがAWSを使ってメディアストレージ基盤を開発してみた」と題して講演してきた。 すでに一週間以上経過しているが、なかなかこのような機会もないので振り返ってみることとする。 DevCon会場 #AWSSummit 『ドワンゴが AWS を使ってメディアストレージ基盤を開発してみた』 満員御礼立ち見です！ pic.twitter.com/AVf6mVgnRp— アマゾン ウェブ サービス (@awscloud_jp) 2016年6月3日 登壇してみて 飲みの席で引き受けた話がまさか本当に実現するとは思わなかったが、非常に良い経験になった。 2015年にドワンゴに入社して以来、Rubyなアプリケーションを開発しつつも主務はAWSを用いたインフラエンジニアということで、各プロダクトの環境構築・整備や開
Lambda+GItHub+Travis CIで全自動サーバーレスAPI
2016/06/11のフロントエンドカンファレンスのLTで発表した資料です。
Tips：RDSでのIOクレジットバランスの考え方（汎用SSDボリューム） | DevelopersIO
ベルリンの半瀬です。 はじめに RDSのI/Oクレジットバランス周りで調べ物をしたときのメモです。 ボリュームタイプとI/Oクレジットバランス（I/Oクレジット）の基本 RDSは、データベースとログのストレージとして EBSボリュームを使用している。 ボリュームタイプに汎用SSDを利用している場合、サイズに比例するI/Oのベースラインパフォーマンスが決まっている ベースラインパフォーマンスを超えたI/Oリクエストを受けることは可能 ベースラインパフォーマンスを超えたI/Oリクエストを受けている場合、超過分のI/Oクレジットが消費される（バースト） ボリュームの初期作成時に、5,400,000 I/Oクレジットが割り当てられる I/Oリクエストがベースラインを下回った（バーストが終わった）場合、I/Oクレジットは補充されていく I/Oクレジットの補充速度はボリュームサイズに比例して速くなる
HAProxy v1.6を使って複数のRDS Read Replilcaに分散させる - tail my trail
RDS ReadReplicaを立てて、参照クエリを逃がすことを考える。 可用性や拡張性を考えてReadReplicaは複数台構成とした場合、RDSの仕様を考慮して設計しておく必要がある。ポイントは以下。 Read Replicaは個々にEndpoint (DNS名) を持つ。 複数Read Replicaに対してバランシングする仕組みは提供していない。 ELBは RDS (Read Replica含め) には使えない。ELBにぶら下げられるのはEC2のみ。 Read Replica各ノードの死活監視、障害時の切り離し／切り戻しを考慮する必要がある。 ということで、Read Replicaのバランシングを行うなら、自分で仕組みを用意する必要がある。 実現方法はいくつか選択肢があるが、今回はL7のバランサーとして定評のあるHAProxyを使ってみる。 Architecture with HA
Amazon Auroraを始めるためのパラメータ資料 | 外道父の匠
Auroraがそこそこ浸透してきたように感じなくもないですが、そのわりに情報がまだ少なめなのは、それだけ従来のMySQLと変わりなく扱え、性能も十分満足いくものだろう、という証なのでしょうか。 中の人も、パラメータチューニングは済んでいるので、基本的にはスケールアップで対応してください、と申しているように、かなり良い調整がされているようです。しかし、インフラエンジニアというかエセDBAたるもの、何がどう調整されているかを具体的に確認しなくては気がすまないため、整理してみたわけです。 デフォルトの設定 パラメータグループについて Auroraのパラメータは従来と異なり、ノード毎の設定である『DB Parameter Group』と、クラスタ内共通の『DB Cluster Parameter Group』の２つに設定が分かれます。 必要に応じてクラスタの方に、文字コードやレプリケーション周りな
密着 24時！ MySQL 5.1 から Aurora への移行100日間 〜 Backlog 編 | 株式会社ヌーラボ(Nulab inc.)
Photo via Visual hunt Backlog の一部のスペースにて Amazon Aurora へと移行しました。ここでは、その経緯と実際に実施した作業を簡単にご紹介させていただきます。 移行の経緯 昨年末データベース障害が発生しユーザー様には多大なご迷惑をお掛けしてしまいました。 Backlog には Terraform をどう使っているかを紹介したブログ にあるように複数の運用環境があります。 その各々の環境の構築時期によって EC2 上で自前運用していた MySQL もあれば、RDS for MySQL もある、といった統一されていない状況でした。また EC2 上ではまだ MySQL 5.1 も稼働していました。 移行を検討するにあたり、優先したのは障害時の復旧が素早く出来ることと、少しでも運用の管理コストを下げることでした。Backlog のサーバは 100 台以上で
X1 Instances for EC2 – Ready for Your Memory-Intensive Workloads | Amazon Web Services
AWS News Blog X1 Instances for EC2 – Ready for Your Memory-Intensive Workloads Many AWS customers are running memory-intensive big data, caching, and analytics workloads and have been asking us for EC2 instances with ever-increasing amounts of memory. Last fall, I first told you about our plans for the new X1 instance type. Today, we are announcing availability of this instance type with the launc
[AWS Certificate Manager]東京でも無料でSSL証明書が使用可能になりました！ | DevelopersIO
※：CloudFrontは米国東部 (バージニア北部)で設定を行うため、CloudFrontの全エッジロケーションでACMを使用できます。 早速試します ACMを設定する 設定の手順の詳細は、[ACM] SSL証明書発行時のドメイン認証メールをSESで受け取ってみたを参照して下さい。このエントリの「ACM設定」までを実施します。 東京リージョンでAmazon Linux 2016.03のEC2を起動して、以下のコマンドを実行します。（Webサーバのインストール、index.htmlの作成、Webサーバの開始） $ sudo yum install -y httpd $ sudo echo "AWS Certificate Manager" | sudo tee /var/www/html/index.html $ sudo service httpd start 次に、東京リージョンのEL
![[AWS Certificate Manager]東京でも無料でSSL証明書が使用可能になりました！ | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/e10c36a6d4b1f695a66553f82a3d6a1f8b46fc38/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2016%2F01%2Feyecatch_certificate_manager.png)
production環境でRailsアプリをdockerコンテナとしてECSで運用するために考えたこと - Qiita
実際には、まだ本当の本番環境では運用できてなくて開発用のステージングで運用が開始できたぐらいで、他にもやること一杯あるんだけど、ある程度知見が溜まったのでまとめておく。 ちなみに、規模はそんなに大きくないがデータ量は多いアプリケーションで運用環境はAWSのECSを想定しており、現時点で普通のEC2ノードとコンテナで並行稼動している。 docker-swarmなりで自前でコンテナプールを構築してもいいのだが、そうするとサービスディスカバリとか考えなければいけないことが増えるので、後回しにしている。 (注: かなりサービス固有の事情が含まれるため、もし参考にされる方が居たとしても、そのままの形では適用できない可能性が高い) 追記: RailsアプリのためのDockerfileとdocker-compose.ymlのサンプル - Qiita コンテナ化のモチベーション CentOSのお守りからの
AWS Solutions Architect ブログ
こんにちは、ソリューションアーキテクトの舟崎です。 4/26(火)に開催しましたAWS Black Belt Online Seminar「AWSで使うMongoDB 」の資料が公開されました。 また、頂いたOnline Seminarで頂いたご質問とその回答が以下になります。こちらも併せてご覧ください。 Q1: MongoDBのシャードの追加・削除/ノードのスケールアップに関しては、メンテナンスなどを使用せずオンラインで実施できますでしょうか？ 止められるなら確認等の意味で安心ではありますが、シャーディングのシャード追加・削除は完全にオンラインで可能ですし、スケールアップもレプリカセットのメンバーを1台ずつローリングでスケールアップすることで実施可能です Q2: 別リージョンのレプリカセットに接続するにはVPNを利用する想定でしょうか？ インターナルな接続であればVPNを使用する想定です
AWS Database Migration Service Now Supports Migrations to Amazon Redshift
AWS Database Migration Service now supports Amazon Redshift as a migration target. This allows you to stream data to Amazon Redshift from any of the supported sources including Amazon Aurora, PostgreSQL, MySQL, MariaDB, Oracle, and SQL Server, enabling consolidation and easy analysis of data in the petabyte-scale data warehouse. To get started with AWS Database Migration Service, please visit the
MySQLサーバのデータをAuroraにレプリケーションする stunnel編 - Qiita
俺です。こんばんわ ふつうのMySQLサーバをAuroraにするため レプリケーションでのデータ移行を検討してみます。 参照ドキュメント: Amazon Aurora とのレプリケーション 構成図 異なるVPCかつPrivate SubnetにいるMySQLとAuroraをReplicationするため、 Public Subnetに配備しているEC2同士でStunnelを張ってレプリケーションします。 今回はAWStoAWSで実践していますが、オンプレミスtoAWSでもVPStoAWSでも実装可能です。 Stunnel Server(Source MySQL)の存在するVPCで稼働するEC2 Stunnel Client(Destination Aurora)の存在するVPCで稼働するEC2 全般設定 ざっくりとこんな感じで。stunnelは別途記載 ソースデータベースはInnoDBエン
【書評】「AWSクラウドネイティブ本」はアプリエンジニア以上にインフラエンジニアに読んで欲しい | DevelopersIO
ウィスキー、シガー、パイプをこよなく愛する大栗です。 先日2016年4月20日にSBクリエイティブより「Amazon Web Services クラウドネイティブ・アプリケーション開発技法 一番大切な知識と技術が身につく」が出版されました。「パターン別本」とも呼ばれるAmazon Web Services パターン別構築・運用ガイドに引き続き第二段という位置付けのようです。 著者および監修をされている佐々木 拓郎 様より本書を頂きましたので、内容について書きたいと思います。 Amazon Web Services クラウドネイティブ・アプリケーション開発技法 一番大切な知識と技術が身につく 一部では「鈍器本」とも呼ばれるほどに分厚く、なんと632ページという凄いボリュームになっています。 アプリケーションエンジニアのためのAWS開発技法 AWSがインフラエンジニアだけのサービスではなく、ア
『新卒研修環境の構築をTerraformで自動化してみた』
アドテクスタジオのDynalystというチームで働いている黒崎 (@kuro_m88) です。 たまに社内で自作ドローンを飛ばしたりしています。 早いもので入社2年目になりました。つい先月まで新卒だったはずなのですが…(・・;) 今年も新卒の技術者が約60名入社し、新入社員全体の研修が終わり現在はエンジニアの技術研修が行われています。 今回はその環境構築で行ったことについて紹介しようと思います。 エンジニアの新卒研修の概要 今年の研修のゴールは「アーキテクチャをゼロから考え、実装できるようになる」というもので、研修課題は2つあります。 1つ目は現在まさに取り組んでもらっているのですが、2週間でミニブログシステムを3～4名のチームで制作してもらいます。 チームによってスキルセットが違うので、ネイティブアプリに特化するチームもいれば、バックエンドやインフラでいかにスケールしやすい構成にするか、
1年で4億UUを解析したKARTEを支えるAutoscaling 3パターン
みなさん、ごきげんよう。プレイドの@tik-sonと申します。 私たちはKARTE [https://karte.io/]というリアルタイムでウェブ接客ができるサービスを提供しており、 KARTEの売りであるリアルタイム性を保てるように、日々インフラを磨きこんでいます。 このエントリーでは、そのインフラの仕組みについて一部を紹介していきます。 今回は「1年で4億UUを解析したKARTEを支える
Amazon EBS SC1 Initial Impressions
April 19, 2016 Amazon EBS SC1 Initial Impressions By Brett Warminski As you may have read in our previous posts (here, here and here), one of the largest pieces of our data infrastructure at Localytics is the petabyte scale Vertica analytics database that we host on Amazon Web Services. We've been relying on Amazon's Elastic Block Store (EBS) as the storage solution for this database for more than
［速報］Amazonクラウド、S3より安価なEBSを含むビッグデータ向けのブロックストレージを2種類発表。AWS Summit 2016 Chicago
［速報］Amazonクラウド、S3より安価なEBSを含むビッグデータ向けのブロックストレージを2種類発表。AWS Summit 2016 Chicago Amazon Web Servicesは米シカゴでイベント「AWS Summit Chicago 2016」を開催。1日目の基調講演で、ビッグデータ向けの新しいストレージ、Amazon Elastic Block Storage（Amazon EBS）を2種類発表しました。 基調講演に登壇したのは、同社プロダクト戦略 ゼネラルマネージャ Dr. Matt Wood氏。 SSDによってストレージには多くの革新が起きた、ではもう磁気メディアではイノベーションを起こすことはできないのか。 磁気ディスクはとても安価で、シーケンシャルアクセスに強いという特性がある。そうした特性を活かした、新しいサービスはできないのだろうか。 そこでビッグデータに適
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
秒間数万のログをいい感じにするアーキテクチャ
