実際に運用してみてわかった、大規模Mastodonインスタンスを運用するコツ - pixiv inside
おはようございます、ImageFlux開発責任者のharukasanです。3日前の4月14日、ピクシブではPawooが急にリリースされることになりまして、ここ数日はずっとPawooサーバにログインしていました。このPawooサーバ、既にピクシブの監視体制に入っており、アラート受信後インフラエンジニアが障害対応できる仕組みを整えています。案の定、リリース直後の15、16日は週末にもかかわらずアラートを受け取ることになり、サーバにはりつくことになったわけです。どんなシステムであろうとアラートを受け取ったら対応する、それが我らインフラエンジニアです。 pawoo.netの構成 さて、それではまずPawooの構成を見ていきましょう。digすればわかりますがpawoo.netはAWS上に構成されています。数百台以上の物理サーバを常時運用しているピクシブであっても、さすがにこんなにはやく物理サーバは用
【新機能】新しいロードバランサー Application Load Balancer（ALB）が発表されました | DevelopersIO
target2の場合も同様に作成します。 ターゲットグループにインスタンスを登録する 作成したターゲットグループにEC2インスタンスを登録します。 ターゲットグループを選択してコンテキストメニューでインスタンスの登録と登録解除をクリックするか、ターゲットタブの編集をクリックします。 インスタンスtarget1-aとtarget1-cを登録します。 ALBにインスタンスが登録されます。ロードバランサに登録していないため状態はunusedとなります。 同様にtarget2にもインスタンスtarget2-aとtarget2-cを登録します。 ALBを作成する ALBを作成します。アプリケーションロードバランサーを選択します。 ロードバランサの基本的な設定を行います。 プロトコルはHTTPとHTTPSのみとなっています。今回はHTTPSを選択します。 HTTPSを選択したのでSSL証明書を選択しま
AWS で不正アクセスされて凄い額の請求が来ていた件 - yoya's diary
情けない話ですが、自分の大チョンボで AWS の個人アカウントが第三者にアクセスされた結果 190万円相当のリソースが使われ、最終的に AWS さんに免除を頂きました。反省込みで本件のまとめを書きます。 自分が馬鹿を幾つも重ねた結果であって、AWS 自体は怖くないというのが伝われば幸いです はじめにまとめ S3 実験してた時に SECRET KEY を見える場所に貼っていた事があり、第三者がそれでアクセスし大量の高性能インスタンスを全力で回す (恐らくBitCoin採掘) AWS さんから不正アクセスの連絡があり、急いで ACCESS KEY 無効＆パスワード変更、インスタンス全停止、イメージ削除、ネットワーク削除 免除の承認フェーズを進めて、クレジットカードの引き落とし前に完了して助かる AWS さんのサポート AWS さんは最大限サポートしてくれました 承認フェーズが進まない時もあまり
イメージベースのデプロイについて（あるいはIaaSだとこんなんが良いんじゃないと言う意見） - ローファイ日記
最近、仕事やら趣味やらで AWS / OpenStack / GCE その他のいわゆるIaaSなプラットフォームを調査したり、いじったり、そのAPIをいじったりする機会が多かった。 この辺の運用を考えていて試したこと、ぶつかったことなどをまとめたい。 実際やったこととしては、特定のプラットフォームに依存している訳ではないが、たいていの人はAWSのアレね、みたいなイメージを持った方が読み進めやすいんじゃないかと思う。 ゴールデンイメージを雑に走らせること この手のIaaSの基本であるが、サーバーはインスタンスと呼ばれ、イメージを指定して起動する。ec2 aws run-instanceとかnova bootとかその類いである。 イメージからの起動のためには雑には大きく2要素があって、一つはイメージ自体の構築、もう一つは起動直後のそれぞれのインスタンスの特性に合わせた初期化処理のフェーズである
コストを下げろと言われたら~AWSでまずやること~ - Qiita
こんにちは。CYBIRDエンジニア Advent Calendar 9日目のgucchonです。 新卒2年目、webエンジニアです。 8日目はkeitarouさんのGitHubをもっと便利にするためのChrome拡張とかでした。 全くGitHub使えてなかったんだな…と身にしみる内容でした。お恥ずかしながら… 本日の内容 「サーバ費、もっと下がらない？」 なかなか聞きたくない言葉ですね。サービスを継続させていく上では当然コスト面をしっかり考えて運用をしていかなくてはいけないのですが、まぁ正直めんd...少しばかり手間です。ただ、AWSならある程度簡単にコスト管理ができて、対応策も用意されているので助かりますね。それでも誰もやりたがらないけど(ﾎﾞｿｯ ということで、コストを下げろと言われてしまったとき、CYBIRDのコストカッター、gucchonがまずやっていることをご紹介したいと思います
AWSでサービスを動かす 〜クラウドの中のサービスはAWSをどう使っているのか〜 - クックパッド開発者ブログ
最近、様々な場面でAWS(http://aws.amazon.com/jp/)上でサービスを提供しているという話を聞くようになりました。 AWSの登場でスタートアップ時のサービスを速度を落とさずに提供出来たり、大規模サービスを世界中に提供しやすくなりました。 cookpadのサービス群も全てAWS上で展開しています。AWSが提供するサービスも凄い速さで増えていますが、実際にクラウド上でサービスを提供する時、各社どのような工夫やクラウドならではの構成になっているのか。。 そんなサービスの中身が少しでも垣間見れる勉強会を開催することとなりました。ノウハウの共有や、みなさまと意見交換できる場にしたいと思っています。 当日は、アマゾン データ サービス ジャパンの方も発表予定です！ ■発表内容/発表者 (敬称略) 「Internal ELBを使った負荷分散」 Internal ELBやproxyを
AWS環境での監視について調べる CloudWatchとZabbixの比較 | DevelopersIO
○：標準で使えます ×：標準で使えません 補足 1.リソース監視の監視項目 CloudWatchはデフォルトでメモリー使用率やディスク使用量、ロードアベレージがないので必要であればカスタムメトリクスとして追加する必要があります。監視項目は以下のページをご覧ください。 [CloudWatch]グラフの確認方法と確認できるグラフ一覧(EC2/ELB/RDS) Zabbixエージェント - Zabbixオフィシャル日本語サイト 2.Zabbixからフルマネージドサービスを監視 ZabbixではRDSやELBのリソースを監視する機能はありません。Zabbixでフルマネージドサービスを監視したい場合はCloudWatchから値を取得するスクリプトを実装する必要があります。 ZabbixでAWS/CloudWatchの値を取得してみた 3.カスタムメトリクスを使えば可能 カスタムメトリクスの追加方法は
Amazon VPCトレーニング-VPCの説明
2. AWSの様々なサービス お客様のアプリケーション デプロイと自動化 ライブラリ & SDKs IDEプラグイン Web管理画面 モニタリング Development & 認証 AWS Elastic Java, PHP, .NET, Eclipse Management Amazon AWS IAM Beanstalk Administration Python, Ruby Visual Studio Console CloudWatch AWS CloudFromation メッセージ メール配信 ワークフロー管理 Amazon SNS Amazon SES Amazon SWF Amazon SQS Application Service コンテンツ配信 分散処理 キャッシング Amazon CloudFront Elastic MapReduce Amazon Elastica
第6回 クラウドサービスの比較：AWS、Windows Azure、さくらのクラウド | gihyo.jp
今回でこの連載も最終回です。これまでAmazon Web Services、さくらのクラウド、Windows Azure、Google App Engineについて触れてきました。最終回ということでこれらのベンチマークを比較してみたいと思います。 unixbenchで比較 Amazon Web Services（AWS）、さくらのクラウド（以降さくら）、Windows Azure（以降Azure）は、IaaS（仮想サーバ）がありますが、Google App EngineはPaaSなので単純な比較はできません。まずは前者の3つについて、比較をしてみましょう。 今回はパフォーマンス計測の定番、unixbenchで比較をしてみました。 https://code.google.com/p/byte-unixbench/ 計測対象は下記の通りです。 ディスクについては、AWSではProvis
オンプレミスから AWS に移行して変えた 3 つのこと
7 月に開催された「JAWS-UG 三都物語 2014」でも発表したとおり、自分が関わっているプロダクトをオンプレミスから AWS に移行しました。 JAWS-UG 三都物語 2014 に登壇しました 移行して 2 ヶ月ほど経ちましたが、目立った障害もなく安定した運用を続けています。スライドでも少し触れていますが、これまでのやり方を大きく変えるキッカケにもなりました。 今回は「オンプレミスから AWS に移行して変えた 3 つのこと」と題して、社外に公開できる範囲でご紹介します。 稼働中のサーバに変更は加えない いわゆる Immutable Infrastructure の考え方を取り入れました。最初は流行りに乗りたかったという気持ちが大きかったのですが、今では昔のやり方にはもう戻れません。 オンプレミスでは本番稼働中のサーバにログインして何か変更するということが当たり前に行われていました
AWSで下記の４つの概念の関係を明確に教えていただけないでしょうか？…
AWSで下記の４つの概念の関係を明確に教えていただけないでしょうか？ - Instance - Volume - Snapshot - AMI 個々の概念は下記のように理解しています。 - Instance(いわゆるサーバ、ホスト) - Volume (ブロック型ストレージ。HDDのようなもの) - Snapshot (S3上のオブジェクト) - AMI (仮想マシンのひながた) しかし４つの関係がわからなくなることがよくあります。 例えばVolumeとSnapshotはそれ単体で存在できるのでわかりやすいのですが、AMIってそれだけでは存在しなくて、Snapshot(またはVolume?)と表裏一体だったりしますよね。 ということはAMIとは必ずAMI on Snapshot またAMI on Volumeということになるのでしょうか。 また、EBS root Instanceは、「ルー
本当は怖いMemcached - Qiita
はじめに データアクセスの高速化、セッションの保持などに非常に重要なポジションを占めているMemcached 特徴をあげると、速い安い美味いで、AWS上のサービス化などされており、非常に扱いやすいプロダクトなのですが、Memcachedそのものが単一障害点とならないように冗長化を測った時に深刻な問題が発生する可能性があることをご存知でしょうか。 システムに心あたりがある方は今すぐ代替手段を検討しなければなりません。 どうしてもMemcachedを使いたいという方はこちらへ それでもMemcachedを使いたいあなたへ 前提条件 そもそも冗長化をしなければ問題ないという運用はその時点で怖いのでNG cache機構という性質上、データが飛ぶのは問題ない(”正”となるデータを他から読み出すだけ)が、誤ったデータが読み出されるのをNGとする Memcachedを利用した時に利用ノードを決定するのは
Docker で Web アプリを運用してみた - kotas.tech
Docker してますか！ 実は実験的に Docker で Web アプリを数ヶ月運用しており、色々と試行錯誤してきたので、少しずつアウトプットしていきます。 ちなみに Ruby 製のアプリで、AWS の EC2 上で運用している、小〜中規模ぐらいのものです。 2014-06-16 16:00: 追記あり Docker イメージのビルドについて Dockerfile を普通に書いてます。 今のところ、2層構造にしていて、 ベースとなるイメージ Ruby アプリケーションサーバー (Puma) アプリケーションのソース (git clone) bundle install デプロイされるイメージ (ベースイメージを元に作る) git pull してソース更新 bundle install し直してベースにない gem を入れる asset の precompile という感じでやってます。
スケールする開発組織の作り方 #jawsug
フロントエンドのパラダイムを参考にバックエンド開発を再考する / TypeScript による GraphQL バックエンド開発
AWS News Blog
Add your Ruby gems to AWS CodeArtifact Ruby developers can now use AWS CodeArtifact to securely store and retrieve their gems. CodeArtifact integrates with standard developer tools like gem and bundler. Applications often use numerous packages to speed up development by providing reusable code for common tasks like network access, cryptography, or data manipulation. Developers also embed SDKs–such
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
NGINX IMAGE SERVER
Amazon.co.jp: サーバ/インフラ徹底攻略 (WEB+DB PRESS plus): 伊藤直也 (著), 片山暁雄 (著), 平山毅 (著), 舟崎健治 (著), 吉荒祐一 (著), 今井雄太 (著), 八木橋徹平 (著), 安川健太 (著), 宮下剛輔 (著), 田中慎司 (著), 久保達彦 (著), 道井俊介 (著), 飯田祐基 (著), 桑野章弘 (著), 松浦隼人 (著), 中村俊之 (著), 福永亘 (著), 杉山仁則 (著), WEB+DB PRESS編集部 (編集): 本
AWS クラウド無料利用枠 | AWS
1年で1台->100台まで増やした話
Lv1から始めるWebサービスのインフラ構築
