fluentd -> Elasticsearch 大量データ転送でトラブル | diaspora
概要 fluentd でサービスの情報を転送し、Kibana で分析したい これまでの過去データを一度に放り込みたい データの件数が合わない Kibana でエラーが発生する 各種設定を見直すことで対応可能 背景 長い長いミーティングに疲れ、集中力を擦り減らしたアナタは 無意識のうちにブラウザを起動していました。 去年まで勤めていた会社の同僚がシェアした記事が目に止まります。 「fluentd + Elasticsearch + Kibana で今どきのログ分析！」 感化されやすいアナタはおもむろに VM を立ち上げ環境を構築します。 Web サーバから吐き出されたログはオシャレでイイ感じにチャート化され、 満足したアナタは VM を落とし、再び仕事に戻りました。 しばらく経ったある日のこと、ふと気づきます。 「ログだけじゃなくて、ユーザ属性の分析にもコレ使えそう。」 毎度オレオレ管理ペー
ウェブオペレーションエンジニアはリリース前のソースコードのココを見ているッ！ - blog.nomadscafe.jp
「ウェブオペレーションエンジニアはリリース前のソースコードのココを見る！」みたいな記事があればいいね — masahiro nagano (@kazeburo) November 20, 2012 ちょいと前にツイートしたこの件のまとめ。新規サービスのリリースや既存サービスに新しい機能が追加される際に、しばしばそのソースコードを確認しているのですが、僕がどんなところを見ているのかまとめてみました。 そのサービスへの導線とランディングページの確認 まず、そのサービスへの導線やランディングページを確認します。そしてその一番アクセスがあろうページ、一つか二つに確認対象を絞ります — masahiro nagano (@kazeburo) November 20, 2012 どんな素敵なサービスも、機能も適切な誘導がなければ使われる事はありません。また誘導次第では大量のアクセスが一度にサーバに対し
MemcachedでPHPのセッション管理 on AmazonEC2 | Linux練習帳
複数のWebサーバでロードバランス環境を構築する際には、セッション情報の保持を考慮しなければならない。初期設定のPHPは、セッション情報をファイルとして保持しているため、異なるWebサーバに処理が割り振られるとセッション情報が消失してしまうからだ。こういった環境においてセッションを維持する方法は2つある。 セッション維持方法 同じユーザは同じサーバに割り振る セッション情報をサーバ間で共有する 1の手法は、Webサーバに手を加えなくて良い反面、Webサーバが故障した場合はセッション情報が失われる。2の方法はセッション情報の共有コストが発生するが、サーバ故障による障害を防げるし、負荷状況に応じて動的にWebサーバの数を増減させることもできる。そこで、2の方法をつかってセッション情報の共有を試してみた。幸い、PHPにはmemcachedを用いたセッション管理機能がある。この機能を適切に設定する
日記/2012-08-31/何故webサービスのサポートは返信が遅いのか。 - PukiWiki
何故webサービスのサポートは返信が遅いのか。 † fluentdとcasandraで作る、サポート支援ツール ↑ webサービスのサポートは遅い？ † webサービスのサポートで、返信が遅いという話を良く聞く。曰く、メールしてもなかなか返事が帰ってこないとのことだ。何故、サポートは返信が遅くなるのか、どうしたら早くなるのか、考えて見た。 ↑ 一般的なサポートの流れ † 良くあるwebサービスので質問「ログイン出来ない」が、どのように処理されるか見てみよう。 ユーザー -> サポート ログインできません サポート -> 企画 ログインできないそうです。 企画 -> 開発 あるユーザーがログインできないそうです。 開発 -> インフラ(本番サーバを触れる人) ログインできないそうです。ユーザーID xxx番で何日のログをgrepしてください。 インフラ -> 開発 いやログイン出来ている見た
日本シー・エー・ディー株式会社
Ethdelay（イーサディレイ）」はネットワーク回線の帯域・品質を簡単に再現することのできる装置です。例えば、アナログ 回線やISDN回線などの低速回線を再現したり、海外を経由するような遅延の多い回線を再現することができます。遅延の大きい回線でのTCP/IPスループットの低下などを簡単に検証できます。 帯域制限などの結果はグラフ表示でリアルタイムに確認することができます。 こちらの製品サポートサイトもご覧下さい。 「Ethdelay」は、以下の機能を提供します。また、これら全ての機能は、Webブラウザから簡単に設定することができます。 帯域制限 制限帯域： 10Kbps ～ 10Mbps （1Kbps単位で指定） アルゴリズム： トークンバケツ方式 または リーキーバケツ方式の選択式 パケットロス ロス率： 0 ～ 100% （1%単位で指定） 遅延の発生お
Block Rockin’ Codes
新しい技術などを自分で色々試せるように、自分のドメインの、自分で作ったブログに移行しました。 ここの記事も、いくつかはアップデートがてら移行していく予定です。 あたらしいブログは以下です。 ということで Blog を移転しました。 / “Blog を移転しました | https://t.co/c3DSoNCwFc” https://t.co/CHoKkYm6RW— Jxck (@Jxck_) 2016年2月15日 よろしくお願いします。 Intro 個人的には HTTP2 と ORTC/WebRTC と Service Worker 周りさわって、 JS と Go を書いてる一年だった。 Extensible Web - Progressive Web APP Extensible Web で始まった話が、様々な API の設計に適用された。 結果手に入った Service Worker
想定外の壊れ方をしたDELL製サーバの復旧まで一部始終のレポート - GIGAZINE
先日、まだ実稼働して2週間足らずのサーバが急にフリーズしてしまい、サーバへのアクセスが全くできなくなってしまったので、慌ててサーバ室に駆け込んでみると、ハードディスクにエラーが出ていました。 このサーバは、SASハードディスク2枚をRAID1(ミラーリング)で構成してるので、1枚のハードディスクが壊れてもシステムがフリーズすることは無いはず。しかし、実際にサーバがフリーズしているので、原因を調べて復旧することにしました。 サーバ復旧までの一部始終の詳細は以下から。 まず、サーバ構成はこんな感じ。 ・筐体：DELL PowerEdge T300 ・RAIDコントローラー：SAS 6/iR Adapter ・OS：CentOS5.2 こんな感じでハードディスクのランプが緑・オレンジ・消灯と繰り返しています。明らかに正常ではない点灯のしかたですね。 そこで完全にフリーズしていて何もできないので強
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
