Amazon Web Services ブログ Amazon EBSのアップデート – 新機能エラスティックボリュームが全てを変える お客様からビジネスのダイナミックさと、それを実現するためのアプリケーションがブロックストレージに求めるものについてご意見をうかがうことは、いつも興味深いものです。ビジネス状況の変化に伴ってブロックストレージへの要求も変化し、容量を追加したり、性能特性の異なるボリュームが必要になったりすることもあるはずです。今日では、24時間運用され続けるシステムも珍しくはありません。結果として、ダウンタイムやシステム運用への影響なく変更作業を行えることがお客様にとって重要な要素となってきます。 我々は長年にわたり、お客様の様々なユースケースをカバーするために、EBSに新機能を追加し続けてきました。例えば、2016年にはスループット最適化HDD(st1)とコールドHDD(sc

2. 市川 博隆とは? 2010 〜 2014 ヤフー サイトオペレーション本部 ネットワーク運用/開発 [LB/GSLB/DNS/Backbone, LBaaS] 2014 〜 YJ America, Inc.（出向中） インフラ全般（電気からクラウドまで） 3. カリフォルニア州 (ビジネス 2名、ビックデータ 1名) ワシントン州 (インフラ 3名、アドミン 2名) YJ Americaとは？ ヤフー株式会社の米国現地法人として2014年設立 サイトオペレーション本部から赴任(ボス, ネットワーク, サーバー)

Coauthors: Tao Feng, John Nicol, Chen Li, Peinan Chen, Hari Ramachandra LinkedIn has built hundreds of application services, with thousands of instances running in data centers. Optimizing the performance of these services can dramatically improve user experience and reduce operational costs, and profilers are commonly used to help achieve this. LinkedIn’s On-Demand Profiling infrastructure (“ODP”

ハッピーバレンタイン！ さぞかし素敵なバレンタインをお過ごしの事と思います。 アメーバピグでサーバサイドを担当している下山です。 突然ですが、エンジニアの9割が仕事する上で意識している事は、何だかわかりますでしょうか。 … そう、効率化ですね。私も自他共に認める効率厨で、日頃からサプリメントや食で、集中力を管理したり、ポモドーロを試したり、秘伝のタレを仕込んだりしています。 さて今回は、私のような効率厨の皆様へ朗報です。業務外で定例MTGの自動化(≒効率化)を図り、その成果をOSSとして公開しました。 背景 私のチームでは、毎週1回30分、定例MTGというものを開き、会議室にチームメンバーが集まり、毎回決まった議題について話し合っていました。それに伴って、以下のコストが発生していました。 定例MTGの準備にかかるコスト(会議室、時間など) 定例MTG中に掛かるのコスト(準備時間など) 会議

github.com これはなに? HTTPを使って、ファイルを Consul クラスタ内で分散配布する daemon です。Go で書かれています。読みかたは「たぐる」です。 開発動機とユースケース 拙作の Stretcher というデプロイツールがあります。嬉しいことに、自分が勤務しているカヤックだけではなく、他社さんでも使われているようです。 先日、某社の Stretcher をお使いのかたに話を伺う機会があり、デプロイアーカイブの取得時のネットワーク負荷が問題になっているということを聞きました。 カヤックではサーバは基本 AWS にあり、S3 からデプロイアーカイブ(200〜300MB程度)を取得しています。S3はちょっと意味が分からないぐらい堅牢で、stretcherの -random-delay 5 (開始を平均2.5秒、最大5秒ずらす) を設定した状態で100台程度から一斉に

ここから、DevとOpsが協力すればより効率的になる＝DevOps、という言葉が生まれました。 当時は大企業においてはDevとOpsが分かれていることが当たり前だったのです。そして、大企業における当たり前が、当たり前ではないことに気付き始め、DevOpsを実現するためのツールができ始めたころでもあります。 ではなぜ、大企業ではDevとOpsが分かれているのが当たり前だったのでしょうか？ ハードウェアの時代その昔、産業の主役はハードウェアでした。 そのため、多くの企業はハードウェアを作ることに対して最適化が行われました。 ハードウェアには研究開発、製造、運用サポートといった大きな区分けが存在します。そして、それぞれの仕事において要求する人材レベルは異なります。 加えて、大量生産された製品の運用サポート（設置作業員、サポートセンタ）には、大量の人員が必要になってきます。 したがって、組織を研究

みなさまいかがお過ごしでしょうか。 あっという間に2月に突入してしまい、時間経過の早さに戦々恐々としているOPENREC事業部の石田です。 スキルウェンズデーのまとめをお送りいたします。 とその前に。。 僕が携わっている OPENREC Messenger についてちょっとばかし宣伝をば OPENREC Messengerは、ゲームに特化したメッセンジャー(無料)です。今後もどんどん使いやすくする予定ですので、是非ダウンロードしてみてください。 iOSアプリ Androidアプリ では、スキルウェンズデーのまとめをお送り致します。 今回の発表内容は以下のとおりです。(敬称略) GCPトレーニングフィードバック(小宮 真) 開発レビューで心がけていること(片岡 雅人) F.O.Xデータ抽出基盤をクラウド移行した話(石橋 弦樹) プロジェクトを潰した話(遠藤 圭一) GCPトレーニングフ

はじめに KLabさんの協力会社として一緒にお仕事をさせて頂いておりますクラスターコンピューティングと申します。今回はSerfの同様にHashiCorpより提供されているConsulを試してみました。 コンテナによるクラスタなど随時サービスが追加削除されるような環境ではそのアドレスはDHCPなどにより動的に決定されます。コンテナ名などでそのサービスにアクセスできれば便利ですが、動的なアドレスとコンテナ名の関係をどのように解決するかという点が問題になります。クラスタ内でロードバランサやリバースプロキシ等を利用している場合、サービスの追加に応じてその設定ファイルも動的に更新しなくてはなりません。また、構成が随時変化するなかで、現在どのサービスがどのホストで実行されているかということを把握する必要もでてきます。 Consulを利用することによりこれらの問題を解決することができます。今回はそのため

概要 前回以下の記事でApexを使ってLambdaを環境別に管理する方法をまとめましたが、 Lambda with Apex: 環境変数で環境別にLambda環境を整える - Qiita 今回はApexでTerraformを使ってLambdaを管理する方法を試してみたいと思います。 バージョン等 OS: Mac OS X 10.11.1 Terraform: v0.6.16 Apex: 0.9.0 言語: Go 事前設定 Terraform インストール Terraformがまだない場合はインストールします。 Download Terraform - Terraform by HashiCorp Apexのインストール Apexがまだない場合はインストールします。

まえおき 最近流行りの Prometheus は、ちょっと前から流行っている Elasticsearch と何が違うのか？ ※Prometheus は触りはじめて日が浅いので、誤りがあればご指摘ください。 そもそも Prometheus と Elasticsearch では目的が異なり、カバーできる範囲が異なる。 扱えるデータの種類は Elasticsearch のほうが広いので、まずは比較する機能を絞る。 Elasticsearch には全文検索の用途があるが、これは Prometheus とは関係ない。 インデックスを日付でわけて、ドキュメントのフィールドに時間を格納することで、 ログのフィールドを時系列で集計する運用について Prometheus と比較可能。 @timestamp といったフィールドに時間を格納したログやメトリクスを logstash-2016.11.06 といった

こんにちは。 2016新卒でLobiのサーバーサイドエンジニアをやっているmorikuniです。 今回は、mdqというGo製のツールを作ったので、その紹介をします。 mdqは複数のデータベースに並列にクエリを投げて、結果をJSONで出力してくれるというものです。 github.com mdqに近いコンセプトのツールとして、弊社の荒賀(@ken39arg)が作ったshard_promptがあります(#6「Shardingマジ怖い」tech.kayac.com Advent Calendar 2012)。 こちらはSQLを解析し、複数データベースにまたがる集約関数を一部サポートしていますが、MySQL専用かつ直列にクエリを投げるというものでした。 mdqでは複数データベースにまたがる集約関数はサポートしませんが、PostgreSQLなどMySQL以外のデータベースへのクエリや、並列処理による速