AWSでアベイラビリティゾーンをまたいでのアクセスが想像以上に遅かった話 - Qiita
うーん…下手すると処理時間が倍くらい違う... いろいろ調べてみるとアベイラビリティ―ゾーン(AZ)が問題らしい EC2インスタンスは両方共 m4.large のため、マシンスペックは同じです。 また、監視グラフを見てみても特定のインスタンスに負荷がかかっている。 いろいろ調べてみると、どうにも 「アベイラビリティゾーン(AZ)をまたいだ通信は結構コストが掛かるよ！」 という記事が見つかりました。(AZ間のレイテンシについて ) あなたのマイスターのシステムではELBで負荷分散しているEC2の片側のみが ap-northeast-1a 、それ以外のEC2、RDS、Elasticsearch、Redisが全て ap-northeast-1c で構成されている Multi-AZ 構成になっています。 もしやこれかが原因か？と思ったんですが、ちょっと記事が古い... しかもAWSの人に相談したと
あなたの知らない鬱陶しいWebクローラーに立ち向かう方法
おことわり 技術側の話は少ないです。 本記事の内容を真に受けた結果発生した損害などの責任は負いませんのでご了承ください。 まえがき. 本記事のターゲット読者について 継続的に治安の悪いWebクローラーから大量にアクセスされていて悩んでいる人 タイトルに釣られて興味本位で見に来た人 鬱陶しいWebクローラーの開発者 継続的に 不定期ではなく一定のパターンで定期的にアクセスがあることを指します。 毎日、毎時、毎分、毎秒など。 治安の悪い いわゆるWebクローラー運用の「お作法」から道を外れていることを指します。 robots.txt無視、UA偽装、非常に短い時間でのバーストアクセスなど。 大量に Webクローラーからアクセスされていることを察知出来るほどのある程度まとまったアクセス量があることを指します。 未知のWebクローラーからWeb上の資源を守るのは非常に困難です。 第1部. 振る舞いか
趣味でディープラーニングするための GPU 環境を安上がりに作る方法 - Qiita
趣味でディープラーニングで遊ぶために GPU マシンを使いたい。 GPU は本当にすごくて、自分の MacBook Air で 2 時間かかるような学習が GPU を使うと 5 分足らずで終わる。CPU だけでディープラーニングするのは馬鹿馬鹿しいという気持ちになる。 しかし自宅に GPU マシンを組んだとしても四六時中計算し続けるわけでもないからもったいないし、ここはクラウドサービスを活用して安く済ませたい。1 さらに、最近では Docker コンテナ内から GPU を利用することができる NVIDIA Docker という Docker プラグインがあり、これを利用することで GPU マシンの環境を汚すことなく好きなだけ学習環境を立ち上げることができる。 今回は Amazon EC2 の GPU インスタンスと NVIDIA Docker を使って趣味用のディープラーニング環境を作った
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
