〜 大晦日に秒間 1 万ユーザを捌くためにやったこと (ログ収集編) 〜今回は、大晦日のイベント用に EC2 インスタンスを複数台立ち上げておいて、年が明けたタイミングで全て Terminate してしまう予定でした。 ただ、Terminate した際に、そのままログも一緒に消えてしまうと何かあったときに困るので、Nginx のログやアプリケーションのログの収集に Fluentd を使い、とりあえず S3 にぶっ込んでおくことにしました。 Fluend は標準では 1 つの CPU コアしか使ってくれないので、複数の CPU コアをもっているサーバで動かす際は、マルチプロセス化することで CPU を効率的に使えるようになります。 具体的には、ログ集約用のサーバは in_multiprocess プラグインで複数のポートから受信できるようにしつつ、送信側は out_forward プラグイン

〜 大晦日に秒間 1 万ユーザを捌くためにやったこと (ロードバランサー編) 〜今回、ロードバランサーは全面的に AWS の Elastic Load Balancing (ELB) を使用しました。 Web API を提供するシステムにはもともと ELB を使う予定だったのですが、静的ファイルの配信などは ClouldFront + S3 という構成でいこうと思っていました。 が、最終的には静的ファイルを配信するシステムも ELB + EC2 という構成になりました。 そのへんの経緯とか、AWS を使うときのシステムのフロント周りの負荷分散にはどういう選択肢があるのかとか、軽くまとめてみようと思います。 静的ファイルの配信には CloudFront を使ったほうがいいのかCloudFront は S3 と併用することで、静的なファイルの配信のことはほとんど考えなくていい、というくらい簡単