AWS News Blog New – AWS Application Load Balancer We launched Elastic Load Balancing (ELB) for AWS in the spring of 2009 (see New Features for Amazon EC2: Elastic Load Balancing, Auto Scaling, and Amazon CloudWatch to see just how far AWS has come since then). Elastic Load Balancing has become a key architectural component for many AWS-powered applications. In conjunction with Auto Scaling, Elasti

MackerelではAPIを使っていろいろな機能を実現することができます。 本記事ではより便利になったMackerelのAPIの活用事例を紹介します。 MackerelのAPIについて MackerelではAPIを使用して、各種の情報の取得や更新が出来ます。 例えば管理しているホストの一覧はcurlを使って以下のように取得できます。 $ curl -H "X-Api-Key: <YOUR_API_KEY>" https://mackerel.io/api/v0/hosts.json レスポンスはJSONで返ってくるため、各言語のJSONライブラリを使ってパースしたり、jqなどのツールで必要な情報を取り出すことが出来ます。 詳しくはAPI仕様をご覧ください。 help-ja.mackerel.io 安全に使用できる読み取り専用APIキーの登場 MackerelのAPIはオーガニゼーション毎に

9/10 18:24 ISUCON練習代を7割安にする方法 追加 9/1 16:48 Q&A追記 はじめに リンク集 GCPのサインアップ Googleアカウントの確認 GCPのサインアップ ISUCONプロジェクトの作成 プロジェクトメンバーの追加 ISUCON運営メンバーの追加 ISUCON参加用GCPクーポンの登録 クレジット利用状況の確認 GCEインスタンスの作成 ISUCON予選用GCEイメージの登録 GCEインスタンスの作成 GCEインスタンスへのSSH接続 各種のTips Google Cloud SDKのインストール gcloud compute コマンドライン例の調べ方 「割り当て」に注意 ISUCON練習代を7割安にする方法 Q&A はじめにこのドキュメントでは、ISUCON予選参加に必要となるGoogle Cloud Platform (GCP)の仮想サーバー、Goo

Product updates, customer stories, and tips and tricks on Google Cloud Platform

タイトルの通りだけど MySQL Casual Talks vol.7でお話してきた。 MySQLのbackupはみんな取ってると思うけどそのBackupって本当にRestore出来るのかなーという不安からRestoreを検証してくれる仕組みを作ってみたというお話 発表資料はこれ 実は発表の二日前にようやくちゃんと全部のjobが綺麗に動いたんだけど、 何故かその段階で、もう大丈夫っしょ！(・。・)となってしまい、 実際に全部のjobを連結させて一連の流れが見えるようになったのは、 なんと発表当日会場入りの30分前という体たらくっぷり。 なので、資料の途中に書いてある実際の運用ではとかのくだりは、あくまでもそういう予定である。 みたいなかんじになってしまった。なんか今思うと詐欺みたいだなｗ 発表にあたって 実は人前で何かを発表するみたいな経験に乏しく、 発表当日は緊張しすぎて雨に濡れた子犬み

森永です。 のんのんびよりが心の癒やしです。 さて、待ちに待ったあいつがやって来ました。そう、Amazon Auroraです。 いつものごとく東京リージョンには来ていませんが、ひとまず触ってみました。 Amazon Auroraとは Amazonが設計開発を行っているRDBMSです。 MySQL互換で、商用に耐えうる高い可用性を持っているとのことです。 特徴として ストレージが自動で10GB〜64TBまでスケールする AZまたぎでコピーし、更に各AZで2つのコピーを作成 自動修復もできちゃう SSDベースのディスクアレイに10GBずつ分散して書き込み 継続的にバックアップがとられていてピンポイントでのリストアが可能 ほとんどのMySQLを使用したアプリケーションはそのまま使える などがあげられます。 RDBMSの弱点をなくそう、減らそうという意気込みが感じられます。 起動してみた Auro

Google Cloud Platform (Google App Engine, Compute Engine, BigQuery や Container Engine など）の情報の日本公式ブログ

これは Craft Conference 2015 で私が行った 講演 を編集して記事にしたものです。その時の 動画 と スライド もご覧頂けます。 あなたのデータベースは、どのようにして確実にデータをディスクに保存しているのでしょう？　ログを使っているのです。 データベースのレプリカは、どのようにして他のレプリカと同期するのでしょう？　ログを使っているのです。 Raft などの分散アルゴリズムはどのようにして合意を取っているのでしょう？　ログを使っているのです。 Apache Kafka などのシステムでは、アクティビティデータはどのように記録されるのでしょう？　ログを使っているのです。 あなたのアプリケーションのデータ・インフラストラクチャはどのように規模相応の堅牢性を保つのでしょうか？　答えは･･･ ログは至るところにあります。私はプレーンテキストのログファイル（syslogやlog

こんにちは、せーのです。AWSは現在40以上のサービスがあり、なかなか把握しきれないことも多いかと思います。そこで今日は現在のサービスを組み合わせたシステム構築の一例をご紹介致します。 最もコストがかかるのはEC2 そもそもオンプレではなくクラウドサービスを選ぶ理由は安価で簡単にサーバーやストレージを調達でき、障害対策や電源管理等をAWS側が行ってくれるから、という方も多いかと思います。 ではAWSの各サービスでコストを抑える秘訣はなんなのでしょう。それは「EC2を使わないこと」です。例えばDBとしてmySqlを使いたいとします。時間あたりの単価を考えるとEC2の中にmySqlをインストールするよりもRDSでmySqlを立てたほうがお得です。また障害が起きてダウンした際にEC2は自分でフェールオーバー等の対策を打つ必要がありますが、RDSはmulti-AZの設定をしておくだけで後はAWSが

複数のサーバが関わっている環境では、ホストに人間が分かる名前を関連付けなければ運用がスケールしなくなるものです。その名前はホスト名だったり、ロールやタグのようなものだったりすると思いますが、仮にホスト名を利用するなら、DNS を用いて名前とホスト（の IP アドレス）の対応をつけるようなこともできるでしょう。DNS が利用できない場合は、/etc/hosts に書くというようなのもありですね。 しかしホスト名を直接利用した運用というのは意外と難儀なところがあって、とくに自分のように普段サーバを扱った作業をあまりしないアプリケーションエンジニアなどは、「前に接続したことあるあのホストは何だっけ……」といううろ覚え状態に弱い。名前の一部は覚えているわけなので、シェルの履歴を検索すればなんとかなるのですが、一度も接続したことがなければ目当てのホストを探し出すことはできません（この、接続したことが

クラウド上のシステム構成は、 Mackerelを中心に考えるとうまくいく ――エム・ティ・バーンの 「Mackerelを中核に据えた」運用法 エム・ティ・バーン株式会社久森達郎さん 株式会社はてな田中慎司 エム・ティ・バーン株式会社守山晃生さん エム・ティ・バーン株式会社吉牟田陽平さん インタビュー星暁雄（ITジャーナリスト） 記事公開日： 2015年6月30日 · 所属はインタビュー当時のものです ベータリリース前に話を聞いて、インストールして試してみた まずは自己紹介をお願いします。 久森 エム・ティ・バーン サーバーサイドエンジニアの久森（id:myfinder / @myfinder）です。エム・ティ・バーンは、株式会社フリークアウトと株式会社イグニスの共同出資会社で、スマートフォン向け広告ネットワーク事業を行っています。私自身はもともとフリークアウトでインフラ構築、運用から広告配

MySQLサーバーをダウンさせた夜は数知れず。 その度にmy.cnfの設定を見なおしてみてはトライし、治ったと思いきや突然のダウン。 サーバーがダウンしてしまう原因は何かと聞かれれば、「メモリです」と断言しましょう。 メモリ設定は諸刃の剣。 パフォーマンスを最大に引き出すこともできればそれと引き換えにサーバーをダウンさせてしまうこともできるんです。 今回はMySQLのメモリの設定の勘所というかたちで紹介しようと思います。 グローバルバッファとスレッドバッファ メモリの設定についてまず「グローバルバッファ」と「スレッドバッファ」について理解しておくことが大事です。バッファとは一時的な記憶領域・つまりはメモリの領域のことなのですが。 グローバルバッファ MySQLで使用する全体的なメモリ使用量を計算するには グローバルバッファ + (スレッドバッファ × コネクション数) = メモリ使用量 と