〜Twilog・Togetter統合の舞台裏〜 by 吉田俊明、青山民人|トゥギャッター株式会社 Twilog https://twilog.togetter.com/ Togetter https://togetter.com/
RDS Auroraを使っているところで、OSの空きメモリが少なくなったアラートが出たので、それについて細かく考察したら、それなりの量になったのでまとめた感じです。 別にAuroraじゃなくRDS MySQLでも、MySQL Serverでも同じ話なのですが、クラウドならではの側面もあるなということでタイトルはRDSにしております。 RDSのメトリクス監視 RDSはブラックボックスとはいえ、必要なメトリクスはだいたい揃っているので、CloudWatch を見たり……APIで取得してどっかに送りつけたりして利用します。 なので、まずは接続数とメモリについて復習です。 SHOW STATUS 的には Threads_connected です。 CloudWatch Metrics 的には、DBInstanceIdentifier → DatabaseConnections です。 見た感じ、ど
こんにちは、ブログにはご無沙汰の三井田です。 今回の記事は、Amazon RDSでSSL通信を利用しているユーザ向けです。 SSL通信を使用していない場合は、特に更新作業は必要ありません。 はじめに 先日、AWSよりAmazon RDSでSSL通信を利用しているユーザ向けに脚注に引用したアナウンス *1がありました。RDSのマネジメントコンソールにも以下のようなバナーが表示されています。 要点をかいつまむと、次のような内容です。 対応が必要なのは、RDS(MySQL、SQL Server、またはPostgreSQL)とクライアント間でSSL通信を利用している方 対応期限は、日本時間で、2015年3月24日 午前5時 SSL証明書が有効期限を迎えるので、引続きRDS〜クライアント間のSSL通信を行うには対応が必要 クライアントプログラムは、AWSが提供する新しい証明書バンドルを利用するように
Tomcat 8からAWSのRDS for MySQLに、SSL証明書を使ってJDBC接続するための設定です。 2015年に証明書が更新され(ルート証明書・リージョン別中間証明書、新・旧など)複数に分かれた関係で、提供される.pemファイルが(2010年版証明書の手順のままでは).jksファイルに正しく変換できなくなっていましたので、手順をメモとして残しておきます。 ポイント https://s3.amazonaws.com/rds-downloads/rds-combined-ca-bundle.pem ファイルを使う ↑を.jksファイルに変換する際、証明書毎に1つずつ.jksファイルに追加していく 参考にしたもの http://docs.aws.amazon.com/ja_jp/AmazonRDS/latest/UserGuide/UsingWithRDS.SSL.html(AWS公
RDSのスナップショットがS3にエクスポートできるようになりました。Parquet形式でエクスポートできるのでユーザ側で変換処理しなくてよくて便利です。 まいど、大阪の市田です。 先日RDSのスナップショットを「Apache Parquet」形式でS3にエクスポートできる機能がリリースされました。 Announcing Amazon Relational Database Service (RDS) Snapshot Export to S3 対象のサービスとバージョン 現時点の対象は下記になります。 Amazon RDS for PostgreSQL Amazon RDS for MariaDB Amazon RDS for MySQL Amazon Aurora PostgreSQL Amazon Aurora MySQL また、利用できるエンジンのバージョンも指定があります。 Mar
Amazon Auroraでは、フェイルオーバーが発生してWriterとReaderが切り替わる場合、サーバ自体のIPアドレスは変わらず、クラスタエンドポイントおよび読み取りエンドポイントのFQDN(CNAME相当)が指すIPアドレスが入れ替わります。 また、エンドポイントが指すIPアドレスは、フェイルオーバー発生時に数回フラッピングします。 そのため、アプリケーションサーバからコネクションプーリングを使ってAmazon Auroraに接続していると、意図せずWriterからReaderに「降格」した側のサーバ(レプリカ)に再接続してしまい、更新系クエリがエラーになってしまうことがあります。 ※反対に、Readerへの接続を意図していたのに誤ってWriterに接続されてしまうことについては、ある程度までなら許容できると思いますが。 これを避けるため、コネクションプーリングをやめて都度接続に
何が起きたのか 作成していたアプリではサーバレス構成にてLambdaからRDS(MySQL)を呼び出していました。 リクエストが増えるとRDSのコネクション数が増加して すぐにDBコネクションエラーになってしまいました。 最大コネクションの上限値 結論から言うとLambdaとRDS(MySQL)は相性が良くないです。 理由はLambdaからRDSのDBコネクションを貼ると リクエスト単位でコネクションを張ってしまうため 仕組み上、同時接続に耐えられません (RDSのコネクション上限数が少ない) さらにVPC設定すると・・・ セキュリティのため、RDSをLambdaからのみアクセスさせるためには LambdaとRDSを両方とも VPC領域に置く必要があるのですが、Lambdaの起動が遅くなる場合があります。 これは、一定時間Lambdaがコールしない場合にスリープ状態になり、 起動する際にE
フェイルオーバー発生させたら、15分固まった。 Amazon RDS MySQL 5.6.23+Tomcat+JavaServlet+Connector/Jでコネクションプールを利用した環境で、RDSのフェイルオーバー試験をするべくManagement Consoleから「Reboot with Failover」を発生させたら、フェイルオーバーは数分で完了して他の新規接続も受け付けられているのに、前から接続していた分が固まってしまいました。 フェイルオーバーが始まった直後に投げたリクエストのあと、うんともすんとも言わない。 JDBCのconnectTimeoutは3秒にしてあって、SecurityGroupの設定ミスなどでつながらない場合は5秒でタイムアウトすることは確認済みなのに、このケースではお返事が帰ってこない。。。 ぐぐっても、新規接続時のタイムアウト(connectTimeou
手元の作業端末から、VPCに作成したAmazon RDSに接続したいケースがあります。 開発時にDBクライアントで接続するといった形です。 RDSには様々な方法で接続できます。パターンを整理してみました。 手元の作業端末から、VPCに作成したAmazon RDSに接続したいケースがあります。 開発時にDBクライアントで接続するといった形です。 RDSには様々な方法で接続できます。パターンを整理してみました。 接続パターン Publicly Accessible オプションを有効化して接続する RDSをパブリックサブネットに配置し、Publicly Accessibleを有効にする方法です。 パブリックサブネットとは、インターネットゲートウェイへのルーティングが可能なサブネットです。 Publicly Accessibleを有効にすると、RDSのエンドポイントがパブリックIPアドレスに解決さ
[53選]国内注目のWebサービス・アプリを大調査! プログラミング言語、フレームワーク、アーキテクチャの一覧【2017年】 星の数ほど存在するWebサービスやアプリ。その裏側を覗いてみると、開発当時のトレンドや開発者の設計思想が見えてきます。53サービスのフレームワークやアーキテクチャ、開発効率化ツールを集めました。 国内だけでも星の数ほど存在するWebサービスやアプリ。その裏側を覗いてみると、開発当時のトレンドや開発者の設計思想が見えてきます。 今回は53サービス(追記を含む)のフレームワークやアーキテクチャ、開発効率化ツールを集めました。選定理由もお答えいただけたサービスについては、アーキテクチャを選んだ理由も紹介していきます。 C2C、コマース メルカリ、ココナラ、BASE、Tokyo Otaku Mode、STORES.jp、Snapmart、IQON 情報サービス グノシー、価
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く