なぜAWS LambdaとRDBMSの相性が悪いかを簡単に説明する - Sweet Escape
2020/01/20 Update: 本エントリの内容は2019年12月3日にアナウンスされた『Amazon RDS Proxy』のリリースにより完全に陳腐化しました。過去のアンチパターンがフィードバックをもとにした改善によってアンチパターンではなくなるという最高の事例です。 サーバーレス元年始まった！ 今年がサーバーレス元年な理由. それはLambdaに以下が揃ったから. ・カスタムランタイムで実質どんな言語でも利用可能 ・VPC利用時のコールドスタート改善 ・Provisioned Concurrencyでスパイク対応も可能 ・RDS ProxyでRDBとの接続が現実的に これまで5年で受けたフィードバックがついに結実. 強い— Keisuke Nishitani (@Keisuke69) 2020年1月19日 RDS Proxyの詳細はこちらからどうぞ。まだプレビューですがぜひ試して
【資料公開します】AWS Dev Day Tokyo 2017 にて登壇しました／choconの簡単なご紹介 | メルカリエンジニアリング
こんにちは。SREの @kazeburo です。2017年5月31日から6月2日にAWS Summit Tokyo 2017と同時に開催された「AWS Dev Day Tokyo 2017」に登壇しました。 登壇する機会をいただき、また数あるセッションの中から会場に足を運んでいただいた皆様、ありがとうございました。 発表内容 「Cloud connect the world as Glue」というタイトルにて、メルカリのインフラストラクチャの概要および変遷、そして現在のAWSをはじめとするクラウドの利用について紹介しました。 資料はこちらになります。 chocon について スライド中で触れた chocon について少し紹介したいと思います。 choconはクラウドのRegionあるいはデータセンター外との通信を効率良く行うためのミドルウェアになります。HTTPS、HTTP/2の通信をKe
AWSとGCPの対応表(2016年7月版) | DevelopersIO
あえて元の表には手を加えないようにしています。 注意点 幾つかのサービスが表から抜けています。 目立ったところでは AWS Lambda とその対応物であるGCP Cloud Functions でしょうか。Cloud Functions はまだ Alpha のため、あえて外しているのかもしれません。 また AWS IAM/GCP IAM も表にありません。GCP IAM は今年3月の GCP NEXT 2016で発表されたばかりで、AWS IAM と比べると機能的に大きく見劣り、単純にサービスの有無だけで表にのせるのはフェアではないとの判断からかもしれません。 基礎サービスと高レベルサービスの関係 AWS/GCPともに基礎となるサービス(Compute/storage/Networking/Databases)の上に高レベルサービス(Application services/Big da
Amazon Web Services Simple Monthly Calculator
This Calculator provides an estimate of usage charges for AWS services based on certain information you provide. Monthly charges will be based on your actual usage of AWS services, and may vary from the estimates the Calculator has provided. Give us your feedback on our Developer Center Feedback forum.
AWSが不正利用され300万円の請求が届いてから免除までの一部始終 - Qiita
前置き 情けないことだが、自身の過失により、GitHubで長年Privateリポジトリで運用していたリポジトリを、とある事情でpublicに変更したのだが、その中にAWSのS3のアクセスキーとシークレットキーがファイルに直接ハードコーディングされているのにすっかり気づかず、自身のAWSのアクセスキーとシークレットキーが流出してしまうという失態を起こしてしまった。 その不正利用により届いた請求金額は約300万円。請求を見た時は頭が真っ白になり冷や汗ものだったが、過去に同様のミスとその状況と対応をまとめてくださっていた方々のおかげで、なんとか深呼吸して対応することができたので、自分も少しでも今後起きうる同様の状況の方に対する助けになればと、一部始終を共有しておくことにしようと思う。 初心者がAWSでミスって不正利用されて$6,000請求、泣きそうになったお話。 AWS で不正アクセスされて凄い
AWSリザーブドインスタンスについて - Qiita
概要 1年契約または3年契約でインスタンスを予約しておくもので、見返りとして通常のインスタンスより割引が受けられるというもの。 EC2、RDS、ElastiCache、Redshiftで選べる 1年か3年の利用コミットを選べる 1年契約だと2割〜5割引きくらいになる スケールアップした場合も、他に条件があうインスタンスがあれば、そちらに割引料金が適用される 1年or3年 3年RIの支払い総額と、1年RIを2回買った場合の支払総額は同じくらい 途中でAWSの価格改定があって値下げされても、RIの場合は購入時の割引単価が適用されるので注意 3種類のRI 1. 前払いなし（No Upfront） 予約金なし 割引単価での毎月の支払い（割引率：低） 利用コミットによる割引単価適用 ※前払いなしは1年RIのみ選択可能 2. 一部前払い（Partial Upfront） 予約金あり 割引単価での毎月の
Terraform＋GPG で IAM User にログインパスワードを設定 | 外道父の匠
AWS＋Terraform の記事を書くのってあまり好きじゃないんですけど、年末くらい１つ書いておこかなという義務感的なアレです、ハイ。 Terraform v0.7.8 から aws_iam_user_login_profile が追加され（CHANGELOG）、IAM User にログインパスワードを設定して、暗号化して state ファイルに保存できるようになったのでやってみましたという、たわい無い内容でございます。 概要 TerraformでIAM Userを作成します。管理画面ログイン用のパスワード設定も行い、パスワードは暗号化された状態で terraform.state に保存されます。 aws_iam_user_login_profile に書いてありますが、使用する公開鍵は base64 でエンコードしたものを直書きするか、keybase のユーザー名を入力することになって
GCEのSubNetwork対応による、変更点とAWSとの違い - 続 カッコの付け方
昨年の12月頃らしいですが、GCEでもSubnetがサポートされました。最初、これを知った時 なんて無駄な機能をつけたんだ！Googleのパワーをこんなしょうもないことに使うな と思いましたが、調べてみるとGoogle流の考慮は入っていました。 ひとまず、このエントリに引っかかった人は、最後まで読んでください。tl;dr とかでは表せませんが、無理やり概要をまとめると、 GCEもsubnetという太古のダサい技術をサポートしてしまったが、他のパブリック・クラウドとは一味ちがうから安心して！ となります。 今までのGCE:Network GCPドキュメント上では、Legacy mode と書いていますが、こちらのほうが よっぽど先鋭的 です。簡単にまとめると ローカルIPアドレスの CIDRだけ指定する そのCIDRは全リージョンにまたがる たったこれだけです。AWSで言い換えると 全リージ
AWS VPC を使ってよくやるネットワーク構成を GCP でも再現したいんだけど、 - えいのうにっき
「AWS VPCを使ってよくやるネットワーク構成」。実際に「よくやる（やられてる）」のかどうかは、正直、僕の狭い観測範囲内でのことなので自信は持てないけど、それはこんなん↓だ（手書きでゴメン）。 VPC を作成 VPC 内に2つのサブネットを作成 そのうちの片方のサブネットをプライベートサブネットとする 実際には「プライベートサブネット」という設定が存在するわけではなく、以下の2点のようなことを実施することでプライベート扱いとなる（と理解している...） 片方のサブネット用のルートテーブルからはインターネットゲートウェイへのルートを外しておく そのサブネット内に建てるインスタンスにはグローバル IP アドレスを割り当てない パブリックサブネットの方に、踏み台サーバ（ bastion ）や NAT サーバを置く 踏み台サーバを経由して、プライベートサブネットの方にあるインスタンスに ssh
RDS のストレージを見直してコストダウンを図る | はったりエンジニアの備忘録
RDS のストレージを改めて見直すことで月 244 ドルのコストダウンに成功しました。特に目新しいことをしたわけではありませんが、昔から RDS を使っている人こそ盲点かもしれません。 RDS の 3 つのストレージ RDS のストレージは EBS と同じように 3 種類あります（Amazon RDS のストレージ）。 Magnetic (Standard) - standard General Purpose (SSD) - gp2 Provisioned IOPS - io1 これまでは Provisioned IOPS に 1000 IOPS を指定していました。 普段のワークロードはあまり高くないのですが、特定の機能で一時的に跳ね上がるため Provisioned IOPS を選択していました。 RDS に移行したときは General Purpose がまだ使えなかったので仕方な
Amazon S3ダウンの原因、コマンドの入力ミスで多数のサーバを削除。サブシステム再起動に時間がかかり障害が長引く。AWSの報告を読み解く
AWSの米国東部リージョン（US-EAST-1、バージニア北部）において2月28日に発生したAmazon S3の障害の原因と対策などについて、AWSが報告を公開しました。 Amazon S3がダウンした直接の原因は、Amazon S3課金システムのデバッグ作業中に入力したコマンドのミスによって多数のサーバが削除されたことでした。また、それによって引き起こされたサブシステムの再起動に時間がかかったことが、障害を長引かせる要因になっています。 この記事ではAWSの報告内容を整理し、発生した出来事を時系列でみたあと、障害の背景にあった技術的な要因と対策を紹介します。 コマンドの入力ミスで多数のサーバを削除、復帰にも長時間かかる そもそもの障害の発端は、Amazon S3課金システムの処理速度が想定よりも遅くなっていたため、Amazon S3チームがデバッグ作業を行っていたことでした。 2月28日
EC2からNFS経由でS3オブジェクトを保管できるようになりました！[Storage Gateway] | DevelopersIO
神アップデートな予感がしてます、コンニチハ、千葉です。 2016年11月30日に、ご紹介しました[新機能]オンプレミスからNFS経由でS3オブジェクトを保管できるようになりました！[Storage Gateway]が、なんとEC2上で利用できるようになりました。 これで、EC2からもNFS経由でS３のオブジェクトを直接利用できるようになります。APIを利用してS3へアップロードする必要がなく、NFSにて利用できるのレガシーなシステムでは重宝するのではないでしょうか。 また、NFS(オンプレ/EC2) > Storage Gateway > S3 > Redshiftのような利用も考えられます。 注意点としては、Gatewayインスタンスは現状は冗長化できないという点です。ただ、種々バックアップストレージやデータ連携としてバックエンドにS3を利用できるのできるのと、直接S3にオブジェクトとし
![EC2からNFS経由でS3オブジェクトを保管できるようになりました！[Storage Gateway] | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/5cef8c014e947c6d69a900c17c28496da9c46366/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2014%2F05%2FAWS_Storage_Gateway.png)
Dockerの導入をAWSやAzureで一括実行してくれる「Docker for AWS」「Docker for Azure」が正式版に。Docker for GCPも開発中
Dockerの導入をAWSやAzureで一括実行してくれる「Docker for AWS」「Docker for Azure」が正式版に。Docker for GCPも開発中 Amazon Web ServicesやMicrosoft AzureでDockerを使うための環境構築を一括で自動的に実行してくれる「Docker for AWS」と「Docker for Azure」がベータ版を終え、正式版になったことが発表されました。 例えばAWSでDockerをクラスタ運用する場合には、CloudFormationのテンプレートやファイアウォールのルール設定、ロードバランサーの設定など多くのツールを用いてさまざまな設定をしなければなりません。 Docker for AWSやDocker for Azureは、こうした設定をそれぞれの環境においてできるだけネイティブな方法により一括して自動的に
「パブリッククラウドvsプライベートクラウドの終わり」の始まり - 急がば回れ、選ぶなら近道
遅めですが明けましておめでとうございます。そんな感じで。 基本的に社内向け。あとは特定のお客さん向け。 自分の意見を詳記しとく。あとこれは日本の話で、海外の状況は知りません。 ■「パブリック」クラウド ここでは、大規模メガクラウドを指す。よって、AWS・Azureあたりを考えている。国内クラウドとは明確に規模・技術力で差がついており、はっきり分けるべきと思っているので、ここではAWS・Azureとしている。多分SalesforceとかIBMのやつも入るとは思う。Googleのクラウドについては技術はぶっちぎりだけど、一般民間人には意図していること天才すぎて理解できる気がしないので範囲外とする。 基本的に「所有より利用を」コンセプトにし、使いやすさと低コストを全面に打ち出し、トレードオフとして共有故の仕組み/運用の「ある種の不透明性」を要求する仕組み。なお、不透明性ってのは、これは提供者の企
AWS、サーバレス、コンテナ、マシンラーニング …2017年のクラウドを占う | gihyo.jp
すべての企業はデジタルカンパニーにならなくてはならない ―2016年、米国のカンファレンスや企業を取材しているときに、筆者はよくこのフレーズを耳にしました。たしかにUberに代表されるデジタルディスラプション企業の台頭、加えて世界的大企業であるGEのデジタル化へのすさまじいほどの注力ぶりなど間近に見る環境にあれば、多少の失敗も折り込み済みで最新技術を採用し、新たなビジネスのニーズをみずから掘り起こす必要性を強く感じるのは無理もないかもしれません。 そしてこのデジタライゼーションの基盤にあるもっとも重要なテクノロジがクラウドコンピューティングです。いまやほとんどのイノベーションはクラウドから始まり、クラウドをベースにしてスケールしていきます。レガシーを多く抱える企業にとっては、クラウドへの基幹業務の移行がビジネス再編の大きなカギになるとも言われています。米国と比べてデジタライゼーションのトレ
AWS CodeBuild ― フルマネージドのビルドサービス | Amazon Web Services
Amazon Web Services ブログ AWS CodeBuild ― フルマネージドのビルドサービス 開発者は通常、ソースコードの変更に対する継続的インテグレーションのビルドとテストを実行するために、共有のビルドサーバを構築し運用しなければいけません。継続的インテグレーションを運用するのは面倒なことなので、多くの開発者はそれを避けてローカルマシンでビルドを実行します。これによって、ある開発者の環境では動作するコードが最終的な本番環境ビルドで動作しないという状況が、しばしば引き起こされます。 多くの開発チームは、CI/CD（継続的インテグレーション / 継続的デプロイ）パイプラインの構成要素としてビルドファームを構築します。ビルドファームの構築と運用はコストが高く、また独特のスキルが求められます。普段はビルドファームはあまり使われていませんが、修羅場の時には利用率は100%に達し、
AWSでTerraformに入門 | DevelopersIO
OSやミドルウェアの機能検証を実施した場合など、オンデマンドで一時的な検証環境を構築できるのもクラウドサービスの醍醐味です。 検証対象のOSやミドルウェアは異なれど、検証に必要な環境はある程度共通であることが少なくなく、また費用節約のためにも検証が終わった後はきれいさっぱりとその環境を削除したいものです。 AWSでそんな使い捨ての環境を構築する場合の方法として、ファーストチョイスとなるのはAWS CloudFormationかと思います。検証環境をテンプレート化しておくことができ、またマネージメントコンソールやAWS CLIを使って簡単に環境の構築／削除ができる、使い捨て環境の構築にはぴったりのサービスです。あるいはAWS CLIやAWS SDKを使って自前の環境構築スクリプトを作成するのもよいかもしれません。 AWS公式のツールを使う以外では、Terraformが有力な選択肢の1つになる
Amazon AthenaでCloudFrontログをSQLで解析する #reinvent #athena | DevelopersIO
ども、大瀧です。 AWS re:Invent 2016で発表された新サービス『Amazon Athena』。発表以後、弊社ブログエントリでも早速検証エントリが上がってきています。 Athena ｜ 特集カテゴリー ｜ Developers.IO AthenaはS3にあるデータに対してアドホックにSQLクエリが発行できるので、標準でS3にログを保存するCloudFrontのログデータをAthenaで扱ってみました。 テーブル定義 AthenaにはCatalog Managerというテーブル作成のウィザードが用意されているのですが、カラム定義をGUIで一つずつ選択するためカラム数の多いテーブル定義はしんどいです。今回は管理コンソールのQuery Editorからテーブルを作成するCREATE TABLE文を直接発行し、テーブルを作成しました。構文は以下のドキュメントを参照してください。Pres
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://qiita.com/Dr_ASA/items/22c883f136f85b8bbe92
https://qiita.com/Dr_ASA/items/afde80819dc3644bf210