「チームLGTM☆」予選ぎりぎりの12位で突破しました！ 前日にウォンテッドリーの内定者のチームが1日目3位で通過という話を聞き(学生なのに社会人の枠を一つ潰し)、プレッシャーがかかる中で、内定者にスコア的には負けましたが、決勝でリベンジするチャンスは残りました。 チームメンバーは、 @south37 と @ngtk で、初めて組むチームでした。僕は、前のチームで出た時も、isucon5もisucon6も予選突破(のスコアは出していましたが、isucon6は再起動失敗による失格。。)だったので、二人にノウハウを伝えつつ、予選に挑みました。 前日までの準備準備はまず過去のノウハウの共有をしました。 https://github.com/reikubonaga/isucon7-qualifier/issues/2 環境構築・公開鍵の設定・nginx・mysql・redis・マシンスペックの確認

reverse proxyサーバとしてよく使われているnginxですが、意外にハマりやすい罠があったりします。 今回は、proxy_hide_header, proxy_set_header, add_header等で設定内容を複数コンテキストに分割する際にはまりがちな点を紹介します。 概要 どのようなときにハマるのかストーリー 同様の動きをする他のヘッダ達 ドキュメント上ではどのように扱われているのか more_set_headersはまた違う動きをする あるディレクティブがそのように動くかどうかどのように調べればいいか あとがき この記事によって今後書きたくなった記事 概要 上記3つのディレクティブについては、基本的には現在のコンテキストにそのディレクティブがない時に限って上位のコンテキストで設定された値が継承される 他にもaccess_logディレクティブなどでも同様の動きをするよう

ISUCON7に id:sugyan と id:gfx と、チーム「スギャブロエックス」で出場して、2日目の2位、全体でも2位で予選通過できました。 icon画像さえ突破できれば、よく練られている問題で楽しめました。サーバもベンチマークも快適に動いて課題に集中出来ました。運営の皆様ありがとうございます。 すでに同じチームの2名がblogを書いているので、そちらも御覧ください memo.sugyan.com gfx.hatenablog.com チームのソースコード、設定もgithubで公開しています。 github.com 最終スコアは 522461、ベストスコアも 522461 です。 言語の選択 最初はGo or Perlという話をしていたのですが、nodejsがサポートされるということが発表された段階で、gfxよりnodejsで行きたいという提案があり、nodejsで行くことにしまし

インフラの反田 (@mtanda) です。 GREEでは、多くのサービスをAWS環境で運用しており、それらサービスのモニタリングシステムとしてPrometheusを利用しています。 Prometheusを導入してから約2年がたち、1台のPrometheusで数百台規模のインスタンスをモニタリングするなかで、さまざまな問題に直面しました。 それら問題の原因を分析し、設定や利用の仕方を改善することで、ある程度安定して運用できるようになりました。 これらの知見が少しでもお役に立てばと思い、ここで共有いたします。 なお、対象とするPrometheusのバージョンは1.xです。Prometheus 2.0では、これら問題のほぼ全てに対して改善されています。そのため、2.0でどういった点が改善されているかを知るためにも有用だと思います。 Prometheusのストレージ実装の基礎知識 Promethe

とてもとても悲しいので、とりあえずやったことと言い訳を書いて気を紛らわせることにする。 敗北した身でグダグダ言うのが格好悪いことは百も承知だが、人間には魂の救済が必要であることをご理解いただきたい。 序盤〜方針決定 最初パスワードのコピペミス等でサーバーからガンガンBANされて、そもそもログインできなくなる。これで10分から20分ぐらい無駄にした気がする。 テザリングにIPを切り替えたり、他のノードから入ったりして、何とか公開鍵でログインできる環境を整える。 適当にベンチ流してスコアを取る前に、nginxのログ設定や構成を確認しalpを使って集計できる準備を整えた。デフォルト実装とRuby実装でベンチを流す。その裏で実装を一通り読む。 ざっくり図を書いて、相談。とにかく/iconsを何とかしないと話が進まないので、静的ファイルとして書き出してCache-Controlだよね、までは即決。

どうも！大阪オフィスの西村祐二です。 とうとう私の家に音声認識デバイスの「Google Home」が来ました！ ということでIFTTTとAPI GatewayとLambdaをつかって Google HomeからEC2インスタンスを停止させてみたいと思います。 概要 Google Homeの音声認識部分は「Google Assistant」が担っております。 IFTTTというサービスはその「Google Assistant」をトリガーに設定することができ、 さらに、Webhookも利用できるので、 Google Home ↓ IFTTT ↓ API Gateway ↓ Lambda というようにGoogle HomeからLambda関数を実行することができます。 この仕組みを利用して、Google HomeからEC2インスタンスを停止させてみたいと思います。 構成図 事前準備 EC2インスタ

最近業務で Fluentd を触ることが出てきて入門したんですが、最初のうちはトラブルが起きた時に何が起きているのか、どう対処したら良いのかがさっぱりわからなかったので、「Fluentd ってログの収集とかに使われるやつでしょ？」程度の知識しかなかった過去の自分に向けて「とりあえずこれぐらいは知っておけ！」と言いたい内容をまとめてみました。 トラブルが起きた時にどの処理で問題が起きているのか素早くコードを追うことができて、データの消失を最小限に抑えつつ適切に対処できるようになることを目的としています。 なお、現時点で最新版の Fluentd v0.14.21 を対象にしています。 アジェンダ Getting Started Fluentd のアーキテクチャ Processes Supervisor process Worker process Threads Input thread En

ISUCON7 予選、出題者チームにてインフラ担当をしている KLab 横川です。 まず、ISUCON7 予選にご参加していただいた多くの皆様、ありがとうございました。 大事な予選にて 1 日目、2 日目ともに開始時刻の遅延という重大なトラブルを発生させてしまったことをお詫び申し上げます。特に予選1 日目の方は告知していた開始時間から 3 時間も遅れてしまい大変申し訳ありませんでした。 このエントリでは、今回の開始時間の遅延原因についてお伝えいたします。 予選のサーバー、ネットワーク構成まず、問題の概要に入る前に予選のサーバー、ネットワーク構成について紹介します。 予選に参加された方はすでに御存知の通りだと思いますが、今回の予選での構成は 1コア、1GBメモリ、20GBディスクで構成されたサーバーが 3台からなっており、それぞれ別々にグローバルIPを持ってインターネットに接続されながら、内

なかなか上がらない自己肯定感を上げるために（？）、私ってすごいんじゃない？　という記事を書いてみたい。（読んでイヤ～な気分になったらごめんなさい） まずは現状。 子育てしながら、働いている。これだけですごい。全ワーママすごい。 ライターとして、食えるくらいは稼いでいる。文章書けるのすごい。 自分でホームページ作っている。Wordpressで作った。けっこうすごい。 やんちゃな男児2人を育てている。これもすごい。ときどき「大変ですね」と失笑（同情？）されるくらいすごい。母は強い。 基本的に夕飯は手作りしている。なかなかすごい。朝飯については聞かないで。 さらにコルクラボという活動をしている。その中で部を立ち上げて活動中。100人くらいいるけれど、積極的に活動している部活やプロジェクトはそんなに多くない。まあまあすごい。 積極的に新しい人と「電流ランチ」している。そういう種まきって意外と続かな

A consistent delivery process with GitOps style for any application on any platform

ISUCON7予選に「railsへの執着はもはや煩悩の域であり、開発者一同は瞑想したほうがいいと思います。」チーム (@cnosuke, @rkmathi, @k0kubun) で参加し、217,457点で予選通過だったようです。 正確な値は覚えてませんが、Best Scoreは25万くらいでした。 最終形の構成概要 appサーバ1 puma 16スレッド: 画像のアップロード/表示、雑多なリクエスト対応 puma 2スレッド: GET /fetch だけ返す appサーバ2 puma 16スレッド: 雑多なリクエスト対応 (画像はnginxがサーバ1に流す) puma 2スレッド: GET /fetch だけ返す DBサーバ MySQLがいるだけ サーバ1, サーバ2をベンチマーク対象にしていました。この構成なのは GET /fetch がスコアにカウントされないため、それ以外にほとんど

ISUCON7に id:kazeburo さんと id:gfx さんと、チーム「スギャブロエックス」で出場して、2日目の上位3チーム枠の2位で予選通過しました。 isucon.net スコアの遷移は以下の通り、最終スコアは 522,461。 時刻 スコア 2017-10-22T13:06:44 6012 2017-10-22T13:16:24 5108 2017-10-22T13:35:01 4721 2017-10-22T13:49:24 6870 2017-10-22T14:36:24 4951 2017-10-22T14:41:01 6749 2017-10-22T15:03:44 6164 2017-10-22T15:24:50 15095 2017-10-22T15:29:00 20526 2017-10-22T15:37:00 17957 2017-10-22T15:46:22