はてなブックマーク

Cache Stampede キャッシュが有効期限切れによってオリジン（データベースなど）へのアクセスが殺到することで負荷が高まってしまう問題を Cache Stampede (キャッシュ・スタンピード） と呼びます。Stampede は日本語にすると「殺到」というような意味合いの単語です。 ※他にも Cache miss storm だったり Thundering Herd だったり、Dog pile だったり、いろいろ呼び方はあるようです。 本記事では この Cache Stampede 問題への対策として memcached の機能をセマフォとして使い、オリジンへのアクセスを制御する方法について記します。 問題の整理のため、キャッシュを使う場合の典型的な処理を振り返りながら見ていきます。 単純なキャッシュ キャッシュには通常では有効期限があり、有効期限が切れるとキャッシュを使用せずに

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? ISUCON ８ の予選に、チーム「死闘の果てに」(najeira, bluerabbit, songmu)で参加し、全体７位で通過しました。 運営のみなさま、ありがとうございました。本戦もよろしくお願いいたします。 やったこと najeira Fabricのファイル用意 dep化 nginxに切り替え、もろもろ設定 getEventのループ内SQLクエリを外に出す getEventsのreservationsもワンクエリで取得 2台構成化(1をDB, 2をアプリ) fail対策のロック bluerabbit (bluerabbitさん

Flutterで書いているアプリに、Fluxアーキテクチャを導入しようと思っています。 最初はReduxを検討して https://github.com/brianegan/flutter_redux を使おうとしました。しかし、このライブラリだと、状態のあらゆる更新において、すべてのRedux系Widgetに対してイベントが通知されてしまいます。少なくともconverterの呼び出し、distinctしていなければbuildも呼び出されてしまいます。もちろん、その結果構築されるWidgetは正しいのですが、処理のコストが気になりました。 そこで、以下のような感じで実装するのはどうか、というのを考えています。ライブラリ部分はまだ架空で、使う側のアプリがどんなふうになるかを書きます。 Store アプリ内でひとつ。 状態を持つ。Channelを通じて状態の更新や取得の手段を提供する。 Act

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

Go言語のサーバで Graceful Restart をするにあたり go-server-starter を使ってみようかなと思ったので、そのために必要なライブラリを調査してみました。 Graceful Restart 今回の主題とは別件ですが、Go言語の Graceful Restart のためのライブラリでは、os.StartProcess や exec.Command によって自分自身の子プロセスを起動し、ファイルディスクリプタ経由でソケットを渡して、再起動時は子プロセスのみを停止・起動するものがあります。 github.com/facebookgo/grace github.com/jpillora/overseer github.com/naoina/miyabi 今回はこれらのライブラリについては触れません。 Graceful Shutdown もう一方で、Graceful S

概要 iOSからTwitterへ動画のアップロードを行う。 画像の場合は media/upload のAPIの1コールでアップロードできるようだが、動画の場合はエラー(400 bad request)になってしまう。 そのため media/upload-chunked を使う必要がある。 動画の制約 アップロードできる動画の条件は以下のとおり。 MPEG4 1ファイルのみ ファイルサイズは最大15MB 長さは0.5秒から30秒まで 大きさは 32x32 から 1280x1024 まで 縦横比は 1:3 から 3:1 まで フレームレートは 40fps 以下 音声はモノラルかステレオ SDK SDK(Fabric TwitterKit)を使う。準備については省略。 手順 ログイン // Twitterにログインする // アカウント選択のActionSheetはSDK側で表示される // 選

Go言語にはいろいろなWebフレームワークが存在して、はっきりとしたデファクトスタンダードが決まっていません。 しいて言えば標準パッケージの net/http がデファクトですが、世の中ではそこに機能不足を感じた人たちが多くのフレームワークを開発しています。 そこで、いくつかのフレームワークを取り上げて、簡単なベンチマークと、それぞれのフレームワークでのいわゆるHello Worldの書き方をまとめておきます。 これによって、フレームワーク選びの参考になればと思います。 対象 Bone Echo Gin Gocraft Goji Gorilla Kami Martini Revel、Beego、Kochaなど、見かけたが入れていないものがいくつかあります。コマンドでスケルトンを作るもの、net/http の Handler interface を満たさないものは除外しました。 追加してくれ

ISUCON 5が終わりました。 出題担当のtagomorisさん、kamipoさん、お疲れ様でした。非常に大変だったと思いますが、お手伝いさせてもらって刺激を受けましたし楽しかったし、良い経験になりました。ありがとうございます。 941さん、各言語の担当者の方々、参加者のみなさんも、お疲れ様でした。 来年もお手伝いしたいし、いや自分自身も参加もしたいし、迷うところです。 さて、ISUCON 5 決勝での天気予報APIを実装しましたので、APIの挙動や意図などを記しておきます（全体の講評は ISUCON5 本選問題の公開と講評 をご覧ください）。 zipcode クエリパラメータとして zipcode を渡していましたが、APIはこれを見ていません。ところがアプリ側はzipcodeを渡すようになっています。 アプリ側の実装の意図については把握していませんが、おそらくキャッシュをしにくくする

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

AWSの公式 Go SDK である aws-sdk-go で S3 にファイルをアップロードしてみました。 なお、このSDKはまだ正式リリースではなくAPIの仕様が変わる可能性があります（この記事は 2015/05/07 時点のものです）。 import import ( "github.com/awslabs/aws-sdk-go/aws" "github.com/awslabs/aws-sdk-go/aws/awsutil" "github.com/awslabs/aws-sdk-go/aws/credentials" "github.com/awslabs/aws-sdk-go/service/s3" )

この設定により、ひとつのディレクトリに全キャッシュファイルを置くのではなく、ディレクトリを作って複数のディレクトリに分散させてファイルを置いていくことができます。 これは、Linuxのファイルシステムのひとつであるext3で、ひとつのディレクトリにファイルを大量に置くとパフォーマンスが低下する問題への対応策だと思われます。 Linuxにはあまり詳しくないので、指摘等あればコメントお願いします。 パラメータの詳細についてはnginxのドキュメントを見てください。 ディレクトリ数 それならばファイルが複数ディレクトリになるべく分散したほうが良いと考えてlevels=2:2:2にしていました。 さて、MD5のHEX文字列から2文字のディレクトリを作るとすると00からffまでの256のディレクトリが作られます。 3階層だと256 * 256 * 256で最大16,777,216ものディレクトリが作

Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article?

機能について 地理 Amazon は東京近郊にデータセンターがある。 Google は Compute Engine などの一部のサービスはアジアのデータセンターにあり、かなりネットワーク的には近いが、App Engine などはアメリカとユーロにしかないのが弱点。データセンターとの通信は、おそらく Google のネットワークで日本まで来ていると思われ高速だが、さすがにアメリカは遠い。 EC2 / Compute Engine Amazon EC2 のほうがインスタンスの種類が多いので対応幅は広いか。 App Engine Google App Engine はコンテナによって隔離されたサンドボックスでユーザのアプリケーションを実行し自動でスケーリングするプラットフォーム。最近はコンテナや Immutable Infrastructure といった言葉をよく聞くようになったが、Googl

Go言語にはgoroutineというものがあり、複数のタスクを並行(Concurrent)に実行したい場合に役立ちます。 またGo言語では、ライブラリなどのAPIは基本的に同期版を提供し、非同期で処理したい場合は呼び出し側がgoroutineで非同期化するのが一般的です。 そこで、goroutineを使って関数を呼び出し、その結果を得るための実装方法について、自分なりに考えてみたので、ここにまとめておきます。 戻り値がない 戻り値がなく、処理が終わっていればよい場合:

日本時間 2014/11/27 の AM9時〜AM11時頃まで、全世界的に Amazon CloudFront に障害がありました。 CDNとして CloudFront を利用しつつ、障害時にはフェイルオーバーする方法をまとめました。 S3 CloudFrontのOriginがS3でない場合は、この項の設定は関係ありません。 CloudFrontのOriginとしてS3を使う場合、以下のようにします。 file.example.jp のような、使いたいドメイン名で S3バケット を作る Static Website Hosting を有効にしておく ドメイン名のバケットで Static Website Hosting が有効になっていないと、後述の Route53 の Alias Target に設定できません。 Health Check Route53 の Health Checks を

fluentdとfluent-plugin-bigqueryを使ってBigQueryにデータを投入する場合の設定について。 BigQueryの制限 2015/04/16に制限の変更がありました（公式発表, 日本語のまとめ情報）。これにより、本記事の内容も影響を受けますので、新しい制限値を参考の上、適宜調整してください。 1行20KBまで 1リクエスト500行まで 1リクエスト1MBまで 1秒10,000行まで (申請により100,000まで) 1秒10MBまで 参照: https://cloud.google.com/bigquery/quota-policy#streaminginserts 1リクエスト1MBを10リクエストで10MB、1リクエスト500行を20リクエストで1万行。 このどちらかが1秒あたりのリクエスト数の上限となる。 例えばサーバのアクセスログであれば1レコードのサイ