AWSコスト削減とリソース管理 | 外道父の匠
クラウド使いなエンジニアの皆様、猛暑と円安の中いかがお過ごしですか。上層部からインフラコスト削減を突きつけられてはおりませんでしょうか。 今回はおそらく初めてコスト削減についてAWSを軸に書いていきますが、考え方はどこの環境でも似たりよったりなので何かしらの足しになればと思う次第であります。 目次 長いです。ひきかえしたほうがいいぞ！ コミュニティに捧げます AWSの売上 コスト削減とは 三大使命 コスト状況整理 Load Balancer 参考リンク 統合による削減 EC2 Autoscaling 参考リンク 情報整理 古いインスタンスタイプの変更 スケジュールの調整 スポットインスタンスの適用 軽量インスタンスの統合・サーバーレス化 アプリケーション処理の軽減 EC2 EBS EBSは高い 不要EBSを削除・スナップショット化 ボリュームタイプの変更 EC2 AMI NAT Gatew
最近のDHH「サーバーレスをやめろ」 - laiso
(インターネットやめろジェネレーターで作成) Ruby on Rails生みの親であり最強の逆張りおじさんであるところのDHHが昨年あたりからしきりに脱パプリッククラウドの主張をしている。 これは彼らの会社が運用しているBasecampやHEYのインフラをAWSから自社保有のベアメタルサーバーへ移行しようとしているからで、実際に移行作業は進んでおり、今後5年間で700万ドルのサーバー費用を節約できるだろうという見込みがあるようだ。 world.hey.com world.hey.com あとタイトルに「サーバーレスをやめろ」と書いたけどDHHのファンボである筆者の誇張表現であり、サーバーレスというキーワードに関しての言及は正確には以下のポストを読んで欲しい。 world.hey.com この文章における「the computing cycles」とは、一台のコンピュータが持つ計算能力全体を
Elasticsearch実運用時の注意点とアンチパターンまとめ - サナギわさわさ.json
Elasticsearch実運用時に個人的に気をつけている点をまとめました。 自分でも整理できていない部分がありますので、間違っている点・追加した方が良い点などありましたら教えていただけると非常に助かります。 目次 目次 インデックス・スキーマ設定 スキーマを事前に定義しておく _allの使用は必要な時のみ行う 部分一致検索をしないstringフィールドにはnot_analyzedをつける doc_value:trueをつける できるだけエイリアスを使う 必要に応じてルーティングを行う 本体の設定 ヒープメモリを適切に設定する スワップしないように設定 スプリットブレイン対策を行う field data cacheに上限を与える 検索高速化 Warmerを登録する queryとfilterを使い分ける filterのキャッシュ設定を使い分ける 必要無いフィールドは検索の際に取得しない イン
冗長化の難しさとNetflixの答え｜こんぴゅ
この世には、ダウンすることが許されないシステムが存在する。金融機関の基幹系、原子力発電所や鉄道の制御システム、流通業の物流管理システムなどはもちろんであるが、最近ではtoCのサービスでもダウンタイムが長くなると大事件として騒がれ、ヤフトピに載ってしまったりする。 ではダウンへの対策はどうするかというと、いくつか手法はあるのだけど代表的なのは「冗長化」である。簡単に言うと、全く同じシステムを裏側に待機系として用意して、有事の際は自動的に切り替わるようにしておくのである。素朴だが、殆どのシステムではこの種の仕組みを用意している。 それでうまくいけばいいのだけどじつは、この待機系への切り替えというのは鬼門であり、高確率で失敗する事になる。 ［続報］東証のシステム障害、原因はハードウエア故障後の切り替えミス http://itpro.nikkeibp.co.jp/article/NEWS/2012
ssig33.com - docker ホストを長期間運用する際の注意点
うちには 2013 年末ごろからずっと docker コンテナを運用し続けていた物理ホストがあったのだけど、最近 $ docker ps とかしても結果が戻ってくるのに 20 秒ぐらいかかるし、コンテナの起動とかにも同じくらい時間がかかる $ /etc/init.d/docker restart などとしようもんならコンテナが使用可能になるまで 3 時間ぐらいかかってた。とはいえそう頻繁にコンテナを手動で起動したり終了したりするホストではないし、 docker のデーモン自体を再起動するとかは本当に稀なのでずっと放置してたんだけど、さすがに放置できなくなってきた。 $ docker ps --all | wc -l とすると 103781 とかなってて、ゴミコンテナやイメージが大量にありすぎるのが諸悪の根源なのではないかという予想を立てた。 そこでこのようなスクリプトでコンテナを掃除してみ
バグをドラゴンと呼ぶ運用を始めて1ヶ月くらいたった - Konifar's WIP
1ヶ月くらい前、 「バグをドラゴンと呼んだらどうなるか」というTweetを見ました。 確かに、バグをドラゴンと読んだ場合「Sクラスのドラゴンが出ました！」「Aクラスのドラゴンを相手にしてる最中だってのに！」って会話になるし、ドラゴンは結局人の手で生み出されたものってところが中二ファンタジーっぽくて良い— 尾野（しっぽ） (@tail_y) March 18, 2015 これは天才的発想だなと思って職場で雑談で話してみたところ、 同僚のスペイン人エンジニアにバカウケしまして、 それからちょいちょいバグのことをドラゴンと呼ぶようになりました。 せっかくなので、どんな雰囲気になるのかまとめてみようと思います。 先に言っておくと、自分ともう1人スペイン人エンジニアが時々チャット上で使っているだけで、 正直そんなに流行ってないです。 なんかテンションが上がる バグ修正ってマイナスをゼロにするだけで何
Kazuho's Weblog: 「技術的負債」は避けるべき？ - 割引率を使って考えてみた
「技術的負債」をコントロールする定量評価手法への期待 からの続きです。 ソフトウェアサービス企業における技術責任者の最も重要な仕事のひとつが、エンジニアリングの効率化です。そのためには、サービスの初期開発コストだけでなく、運用コストを織り込んだ上で正しい技術的判断を行っていく必要があります。 「技術的負債」という言葉は、この運用コスト最適化の重要性を指摘する上で、とてもキャッチーなフレーズだと考えられます。しかし、「技術的負債」を産まないように、あるいは負債を早めに返していこうとすると、開発工数が大きくなってしまうという問題もあります。 初期開発コストと運用コストのバランス注1を、どのようにとっていけば良いのでしょう？ 同等の機能を提供する「ソフトA」と「ソフトB」を考えてみます。ソフトAは、初期開発工数が6だが、２年目以降の維持工数が毎年4かかるとします注2。ソフトBは、初期開発工数が1
Hashicorp AtlasでVagrant, Packer, Terraformを連携させる | DevelopersIO
ども、大瀧です。 VagrantやPackerを開発するHashicorp社から、Atlasという新しいサービスがローンチしました。現在はtech previewとして触ることができます。今回はチュートリアルを試しつつ、その様子をレポートします。 Atlasとは? Hashicorp AtlasはHashicorpが開発するDevOpsツールを連携させ、開発・デプロイの一連のワークフロー管理を実現するクラウドサービスです。以下がAtlasの概念図ですが、各フェーズの左下に"Powered by"のあとにツール名が示されているのがわかります。 ツールを軸に、今回のチュートリアルの範囲でAtlasの機能を示してみました。 Vagrant、Packer、Terraformが操作の軸になることがわかりますね。これ以外にも、仮想イメージ(Box)を共有する機能やConsulと連携する運用向けの機能も
結婚は短期開発、長期運用。「結婚疲れ」を回避する3つのコツ | ライフハッカー・ジャパン
「結婚」の二文字を見ると理由もなく憂鬱になる、そんなごく普通の三十路独身女性が、うっかり結婚してしまいました。 私はWebやアプリのディレクター、彼はエンジニアです。 まさか自分が結婚するなどとは夢にも思っていませんでしたが、結婚してからの3カ月で気づいたことを、私なりにお伝えしたいと思います。 1．夫婦はプロジェクトチーム、結婚生活は長期運用サービス 結婚はゴールのように捉えられることが多いですが、結婚生活を「長期運用のサービス」と捉えると、とても納得することが多いことに気づきます。 例えば EC サイトを運用しようと思った場合（リアルな飲食店や販売店を想像していただいても同様です）、なんとか完成までこぎつけてオープンしたとき、そこがゴールだと思う人がいるでしょうか。当然、そこからがスタートです。 長期運用サービスなのだから、当然、不具合も発生するでしょう。インフラの障害もあるでしょうし
運用資産15兆円のカリスマ投資家レイ・ダリオ氏が語る「30分でわかる経済の仕組み」全文文字起こし - この世の果てブログ
2014-12-07 運用資産15兆円のカリスマ投資家レイ・ダリオ氏が語る「30分でわかる経済の仕組み」全文文字起こし 動画 本 【Sponsored Link】【 "Share" or "Pocket" 】 Tweet 半年ほど前の話題になるが、日経新聞ウェブ版より。 リンク 世界最大級のヘッジファンド創業者 日本語で経済入門動画 ：日本経済新聞 世界最大級のヘッジファンド運用会社ブリッジウォーター・アソシエーツ（運用資産約1500億ドル）創業者のレイ・ダリオ氏はこのほど、経済のしくみを易しく説いた動画を日本語で制作し、ネットで公開を始めた。「30分でわかる経済のしくみ」と題したこの動画は、ユーチューブで見ることができる。昨秋公開した英語版は、すでにアクセス件数が百万件を超えた。 公開当時、俺も一度流して見て「えらくわかりやすい動画だな、これは勉強になるから、近いうちに腰を据えてしっかり
Google Apps ScriptでWeb死活監視
こんにちは。松田です。 ここでDozensのメンバーブログを始めたので、技術系や経営系？のネタなどがあったらここに書いていくようにしたいと思います。よろしくおねがいします。 さて今回はGoogle Apps Script を使って簡易的にWEBサーバの死活監視をするスクリプトを書いてみました。 外部からURL叩いて 200 が返ってこなかったらメールをするだけのとてもシンプルなコードです。 Google Apps Scriptを採用した理由は以下の３つです。 JSで書けてお手軽 Google Apps Scriptで定期実行が可能 Google Apps の基盤上で動かせるので可用性が高い 毎分スクリプトを動かすことができるので便利なのと死活監視自体が死んでるということを極力回避できるというのはポイント高いと思います。死活監視の死活監視なんて新たな死活監視を産むだけです。 やがて世界は死活
DMM inside
日本アニメ初の快挙！海外アニメ賞を受賞した『スキップとローファー』海外ライセンス部長&プロデューサーが語る、奮闘の舞台裏
3つのシナリオで考える、AWSを低コストに使う方法
「クラウドはオンプレミスに比べて低コスト」――この“定理”は多くの場合、概念的に語られる。定量的に説明されることはまれだ（関連記事：クラウドは本当にコストダウンになるのか）。 その点で2012年9月14日に開催された「AWS Summit 2012 | Tokyo」において、アマゾン データ サービス ジャパン 技術統括部長の玉川 憲氏が行った「クラウドTCOの真実」と題する講演は興味深かった。自社が提供するパブリックIaaS（Infrastructure as a Service）のAWSとオンプレミスの詳細なTCO比較を行ったのだ。プロバダー自身が公に語るのは珍しい。では、オンプレミスのシステムをAWSで構築した場合、AWSではどのような料金プランが考えられるのだろうか。本稿では、企業システムの特性に応じた3つのシナリオを想定し、AWSの料金プランを賢く利用する方法を解説する。 自前サ
メルマガのエラーアドレスやバウンスメールを自動的に処理する方法（PostFix） - igreks開発日記
おそらく、この世にメルマガ配信システムはたくさんあるので、この方法は 広く使われていると思うのだが、いくら検索しても具体的に説明されてるサイトが ないので、忘れないようにメモ。 （環境：fedora9、postfix2.23以降、perl5.8.X） まず、VERPを利用するので、sendmailを使う場合はパス指定時に、 sendmail -XV -f bounce と指定。 ※postfixのバージョンが2.2以前の場合は -XV じゃなく -V 。 ※bounceの部分は別にhogeでも何でもよい。 ※sendmailを使わない場合（SMTPに直接送るときとか）は、別にVERPを使わなくても、 エンベロープMailFromに "バウンスを受けたい架空のアカウント"+"送信先のアカウント"="送信先ドメイン"@"自ドメイン"の形で指定できればOK。 次に、/etc/postfix/ma
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
レガシーとの向き合い方 〜cron から Rundeck へ〜 - DMM inside
最高のITエンジニアリングを支える守りと攻めの「設計技術」と「SRE」 - Speaker Deck
運用自動化、不都合な真実 // Speaker Deck
MySQLを割と一人で300台管理する技術
すこやかRails
http://logmemotips.com/archives/661