Fluentd + Kinesis + Elasticsearch + Kibana / Grafanaでのリアルタイムログ解析基盤 | Tech Blog - リクルート住まいカンパニー
こんにちは、SUUMOスマホサイトの開発チームに所属しているエンジニアの上野です。 今回は、リアルタイムログ解析基盤を紹介します。 背景 皆様はwebサーバログ監視（アクセスログ・エラーログなど）をどのように行われているでしょうか？ スーモスマホサイトでは、アクセス数増加に伴いサーバ台数が増え、csshX地こんにちは、SUUMOスマホサイトの開発チームに所属しているエンジニアの上野です。 今回は、リアルタイムログ解析基盤を紹介します。 背景 皆様はwebサーバログ監視（アクセスログ・エラーログなど）をどのように行われているでしょうか？ スーモスマホサイトでは、アクセス数増加に伴いサーバ台数が増え、 csshX 地獄に陥りました。（以下の図のような状態のことです。） ログの確認が必要になった際に、この csshX を使用して秘伝のワンライナーで確認したい部分をtailして抽出していましたが
GIGAZINE - GIGAZINEのLoadAvarageを「27」から「2」へ下げた方法
ここ3日間ぐらい超絶な重さだったのはサーバに物理的トラブルが発生したからではなく、単純に閲覧者数が満員御礼となり、各時間で倍増したためです。LoadAverageはひどいときで15分間の平均値「27.1」程度。瞬間最大風速だともっと高いです……明らかにまずい。 というわけで、Apacheのデフォルト設定で今までは大丈夫だったのですが、ついに高負荷サイト用の設定に変更せざるを得なくなりました。 そのため、実際に行った対処方法は以下の通り。1日30万PV近い動的サイトの高負荷を緩和させる方法として参考になれば幸いです。 まず大前提として、既にDNS逆引きや.htaccessの余計な読み込みなどは停止させていました。下記ページに書いてあることは実行済み。 ＠IT：Apacheパフォーマンス・チューニングの実践（1/2） この状態で負荷が15分平均で「27」になっていたわけです。 また、LoadA
4、50代になってから買い叩かれないように、能力向上に努めたい。たとえ勤務先が終身雇用でも。（西田亮介） - エキスパート - Yahoo!ニュース
先日、都内に無数に存在する、電源を貸してくれ、珈琲のあとにお茶が出ることでよく知られる喫茶店チェーンで原稿を書いていた。不思議なことに、原稿書きに愛用しているこのチェーンでは、宗教、押し売り、保険から始まるありとあらゆる勧誘、マルチ商法を目にし、社会の恐ろしさと、「美味しい話」を疑うことなく、ほいほい契約する人々を何度も目撃して震撼してきた。その日は30代と思しき男女2人組の転職エージェントらしき人物が、ずっと転職希望者の面接を行っていた。 そもそも喫茶店のようなセミオープンな空間で本来それなりにセンシティブであるはずの転職の話を提案された時点で、そのエージェントを使う気はちょっとしないが、それでも次から次へと４、50代の中高年の男性が面接にやってくる。実際、否が応でも話がちらちら耳に入ってきてしまう。最初は景気が底を打ったといわれているから、人手不足で転職市場も活性化しているのかとも思え
Web API サーバ負荷試験のすすめ方 – 観点を整理、負荷を試算、対象を選定 | DevelopersIO
負荷試験対策ミーティング ここでは、チームメンバーを集めて、システム要件の再確認と、バックエンドのアーキテクチャを再確認をまず行います。すなわち、「求められているもの=要件」と、「提供できるもの=アーキテクチャ」の確認です。ここの認識が揃っていないと、的はずれな負荷試験を実施してしまうことになりかねません。立場や役割にかかわらず、サービス全体として考えるべきです。 負荷試験の目的 負荷試験を行うことによって、何を示したいのか決めます。今回は、以下の目的を定めます。 サービスリリース後、想定されるピーク時のリクエストを受けた場合でも、問題なく稼働を続けられることを確認する システムのスループット限界値を確認する 負荷試験の観点 たいていのWebシステムの場合、昼夜を問わず稼働し続けるものとなるでしょう。今回例にとったシステムも24時間365日、リクエストを受け付けるものとします。この場合、観
世の中、見ないほうがいいことが、たくさんある。
こんな話を聞いた。あるお母さんの悩みだ。 彼女には2人の子供がおり、下の子はとても勉強ができる。本が好きで、何事にも熱心に取り組むタイプだ。 その一方で、上の子はそう言った優等生的行動とは無縁だ。本は読まず、怠け者で何をやっても中途半端で終わってしまう。当然成績も悪い。 もちろん彼女は「贔屓」をしてきたつもりはなく、二人の子供を平等に扱わなければならない、と感じている。善い行いは褒め、悪い行いは叱るべきだ、彼女はそう考えている。 しかし、ほめられる回数はどうしても下の子のほうが多い。当たり前だが、賞賛の対象となる行動とったり、結果を出したりしているのは、下の子なのだ。 結果として「最近は、下の子を褒めるだけで、上の子がスネてしまって、ますます上の子が「できない子」となっていく」という。 兄弟の仲は今のところ険悪ではないが「それも将来的に心配」とお母さんは言った。 また、こんな話もある。 あ
「締め切りは絶対に守るもの」と考えると世界が変わる
2011年にインプレスジャパンから「エンジニアとしての生き方」という本を出版して以来、書籍よりは「メルマガ（週刊 Life is Beautiful）」の執筆を優先して来た私ですが、この度、とある編集者に説得されて「時間術」の本を出版することになりました。 『なぜ、あなたの仕事は終わらないのか スピードは最強の武器である』（文響社） 「時間術」とは言っても、巷に良くある「どうやって時間を効率よく使うか」という話ではなく、実際の仕事の現場において「常に締め切り通りに仕事を終える人」になるための、私なりの「仕事に対する取り組み方」を解説した仕事術の本です。 「いつも締め切りに追われている」「締め切り間際にならないと本気で仕事ができない」という悩みを抱える人たちには是非とも読んでいただきたい本です。締め切りを守れるかどうかは、締め切り間際のラストスパートで決まるのではなく、もっと前の段階での、「
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
