Rancherで簡単に作るk8s環境 Kubernetes meetup tokyo #4 LT kubernetes on rancherTetsurou Yano
VPとSPIDERを使ったMySQL運用
Rancherで簡単に作るk8s環境 Kubernetes meetup tokyo #4 LT kubernetes on rancherTetsurou Yano
Twitterの大規模システム運用技術、あるいはクジラの腹の中（後編）～Twitterのサブシステム「Unicorn」「Kestrel」「Flock DB」
Twitterの大規模システム運用技術、あるいはクジラの腹の中（後編）～Twitterのサブシステム「Unicorn」「Kestrel」「Flock DB」 米サンタクララで行われていたWebサイトのパフォーマンスと運用に関するオライリーのイベント「Velocity 2010」の、Twitterのシステム運用について説明するセッション「In the Belly of the Whale: Operations at Twitter」（クジラの腹の中：Twitterでの運用）を紹介をしています。 この記事は「「Twitterの大規模システム運用技術、あるいはクジラの腹の中（前編）～ログの科学的な分析と、Twitterの「ダークモード」」の続きです。 Twitterのサブシステム「loony」「Murder」「memcached」 ここからはTwitterのサブシステムについて紹介しよう。 T
Twitterの大規模システム運用技術、あるいはクジラの腹の中（前編）～ログの科学的な分析と、Twitterの「ダークモード」
Twitterの大規模システム運用技術、あるいはクジラの腹の中（前編）～ログの科学的な分析と、Twitterの「ダークモード」 先週の6月22日から、米サンタクララで行われていたWebサイトのパフォーマンスと運用に関するオライリーのイベント「Velocity 2010」が開催されていました。 その中で、TwitterのJohn Adams氏がTwitterのシステム運用について説明するセッション「In the Belly of the Whale: Operations at Twitter」（クジラの腹の中：Twitterでの運用）が行われています。Twitterのような大規模かつリアルタイムなWebサイトの運用とはどういうものなのでしょうか？ 公開されているセッションの内容を基に概要を記事で紹介しましょう。システム管理者の新たな役割、Railsの性能の評価、Bittorrentを使った
livedoor Techブログ : カラメでのスパムメール対策
こんにちは。 携帯キャリアを変え続けて一巡してしまいました。モバイル開発のトヤマです。 カラメとは ケータイlivedoorではカラメ（http://karame.com）というサービスを提供しています。 カラメでは、メールで文章や写真などをメールやウェブから投稿でき、その登録した内容を空メールで取得できるようになっています。その作成されたアドレスを公開する事で不特定多数の人に内容を配信することが可能になっています。使い方としては、個人で送るメルマガなどにアドレスを載せて配信するケースが多いようです。 カラメへのメール カラメでは主にシステム的に用意されたドメイン（b.to）、ユーザー用に用意されたドメイン(*.b.to)があります。（例えばldmobileというアカウントであれば、ldmobile.b.toドメインが割り当てられます）。ユーザーも日々変動する為、存在しているアカウントだけ
[Solaris] Solarisのパフォーマンス監視 - Life with IT
2007/8/15更新 対応バージョン: 10 Solarisシステムが正常に稼働しているかどうかを判断するには日常的な監視が欠かせない。 ここではSolarisシステムを監視するのに必要なコマンドとその結果を分析するポイントについてまとめる。 後半ではシステム性能が悪化した場合の問題点の特定から改善までの流れについて事例を交えて紹介する。 システムの稼働状況を確認するためのコマンド システム全体の稼働状況やシステムの性能悪化の原因を調査するためにはsarやvmstatコマンドを使用する。 その後psやprstatコマンドを使用し性能を悪化させているプロセスの特定を行う。 問題となっているプロセスが特定できればプロセスの見直し(優先度の変更や実行スケジュールの変更、ユーザプログラムの改善など)を行う。 特に原因となるプロセスが特定できない場合、プロセスの見直しが不可能である場合、性能の悪化
![[Solaris] Solarisのパフォーマンス監視 - Life with IT](https://cdn-ak-scissors.b.st-hatena.com/image/square/63c67004f340a9cfebe1346d512a10a786385cbc/height=288;version=1;width=512/https%3A%2F%2Fl-w-i.net%2Fimg%2Flogo_256.png)
満足せる豚。眠たげなポチ。:大規模サービスの運用事例まとめ
ここ数年の大規模サービスのシステム運用について調べてみたので参照したページやファイル、本へのリンクをまとめておく。PDF へのリンクも多数含まれているのでご注意を。 時代が時代なら企業のノウハウとして隠されていたような情報がこれだけ公開してもらえているというのが非常にありがたい。公開してくれている各企業や公開してくれている人に感謝。 あとで気付いたが、Google や Facebook の事例も探しておけばよかった。Thrift とかあったのに。「こんな情報もあったよ」などあればぜひ教えてください。追記していきます。 youtube http://d.hatena.ne.jp/stanaka/20070427/1177651323 digg http://d.hatena.ne.jp/stanaka/20070427/1177651323 livedoor http://labs.cybo
KOF 2008 の発表資料 - naoyaのはてなダイアリー
KOF 2008 での発表資料「はてな流大規模データ処理」を以下にアップロードしました。 http://bloghackers.net/~naoya/ppt/081108huge_data.ppt 一部参考文献からの引用 (Introduction to Information Retrieval から Vector space model の図、たつをの ChangeLog から転置インデックスの図) があります。この場を借りて感謝。 環境によってはおそらくフォントの表示がいまいちだと思いますが、ご了承ください。 追記 SlideShare にアップロードしました。 081108huge_data.pptView SlideShare presentation or Upload your own. (tags: linux mysql) 追記: メモリはディスクの 150 倍について
韓国からの異常なアクセスを拒否する方法
先ほどまでどういうわけか土曜日の夜だというのにGIGAZINEの負荷がドンドン上昇し、アラートを発し始めたので何事かと思ったら、大量のトラックバックスパム送信用ボットと思われるものが謎のIPアドレスを吐き出しながら入れ代わり立ち代わりやってきていました。 124.49.135.22 211.54.82.32 218.154.73.173 220.126.200.207 222.112.92.226 58.79.100.115 なぜかホスト名解決できないので、http://whois.ansi.co.jp/に入れてみたところ、すべてカントリーコード「kr」、つまり韓国からのアクセスでした。 ランダムなアドレスを吐き出しまくりながら、容赦なくトラックバックスパムを連続送信しまくってくれるので、とりあえず上記アドレス範疇は全部ブラックリストに入れて弾いたのですが、いつ何時IPアドレスを変更してや
複数のサーバのモニタリングソフト
Linux、Windows、FreeBSD、Mac OS Xで動作可能なサーバモニタリングソフトウェアです。フリーで利用できるバージョンであっても商用利用可能で、30個までのサーバを一元監視することができます。 HTTPなどの各種サービスの監視はもちろん、CPU負荷やメモリ、温度の詳細なグラフ出力やレポート出力も可能。サービスが落ちたかどうかの判断基準や、落ちた場合の通知方法はグラフィカルに条件分岐のダイアグラムから作成可能で、その際に実行するスクリプトなども指定できます。 ソフトウェア自体は監視するBixAgent、監視エージェントから送られてきた情報をまとめるBixServer、そしてその監視結果を表示して確認するためのBixDesktopで構成されています。 詳細は以下の通り。 BixData | Cluster and Systems Management http://www.b
MRTGよりお手軽に負荷やトラフィックをグラフ化できる「Munin」 - GIGAZINE
Perlで書かれており、RRD Toolと連携して、サーバに関するあらゆる情報をグラフ化し、HTMLを作ってくれます。MRTGよりも圧倒的にインストールも設定も簡単。グラフ化する対象はプラグインで簡単に拡張可能。 グラフ化できるのは、初期状態でディスク使用量・MySQL・IOstat・トラフィック・プロセス数・VMstat・CPU温度・CPU使用率・ロードアベレージ・メモリ使用率・スワップ・Netstat・HDD温度など。プラグインを追加することでさらにApacheのロードタイム・メールキュー・Asterisk・NFSクライアント・BIND・ColdFusion・DNSキャッシュ・MySQLの各種数値・PostgreSQL・印刷キュー・ProFTP・Qmail・電圧・S.M.A.R.T.・SpamAssassin・Tomcat・Tor・Windows Server・VMware・Xenなど
フリーのサーバ、ネットワークなどの総合監視ソフト「ZABBIX」日本語版 - GIGAZINE
オープンソースで開発されており、全ての設定・管理をブラウザからできるようになっている。グラフ作成機能も標準で搭載。各ノードの情報収集、異常検知、障害/復旧通知、詳細なアラート通知機能あり。SNMPv1、v2、v3をサポートし、Unix、Linux、BSD、Windows、MacOS X、NetWareなどで動作。CPU、メモリ、ディスク、ネットワーク、プロセスの状態などの監視が可能で、Apache、Tomcat、Oracleなどのアプリケーションの監視も可能。なかなか強力。 詳細は以下の通り。 ZABBIX-JP - Un-Official Support Page http://www.zabbix.jp/ ZABBIX-JP - ZABBIXとは http://www.zabbix.jp/modules/main0/index.php?id=1 ZABBIX-JP - 特徴 http:
Twitterのトラブルから見る、DB分割でスケーラブルなRailsサイト構築:TKMR.blog.show
最近、2.0な方々の間でTwitterが話題になってる。で、そのTwitter自体も面白いんだけど、TwitterについてDHHがブログを書いてRailsでの大規模サイト構築が話題になってるのが面白い。 Twitter trouble (Loud Thinking - DHH) まずTwitterの高負荷について言及、Twitterは11,000リクエスト/秒 の高負荷で問題となっているらしい。 そしてスケーラビリティの鍵はDB分割だ、と言っている。Railsは基本一つのDBを見るのでスケーラビリティの問題になる （確かにWebサーバはロードバランサがあればいくらでもスケールするしね、Sessionの共有だけ気を付ければ） ↓ Dr Nic » Magic Multi-Connections: A “facility in Rails to talk to more than o
続：複数WEBサーバへの最新ソースコード配信方法 - sanonosa システム管理コラム集
前回複数WEBサーバへの最新ソースコード配信方法という記事を書きました。前回はやり方だけを記しましたが、実際に試してみるといろいろ注意すべき点がみつかります。そこで今回は続編としてそれらの注意点を記します。 【配信に失敗する場合があるので気をつける】 rsyncやrobocopyが常にうまく動いてくれればいいですが、たまに配信に失敗することがあります。例えば100台に配信しようとして99台だけうまくいって1台だけコケた場合を考えて見ましょう。この場合何も対策を行わないと発見が難しいです。最悪なのはユーザからの指摘で気づくことでしょう。 この対策にはいろいろあります。 ・方法１：全サーバのコンテンツフォルダ配下のチェックサムを取って比較し同一なことをチェックする。（一番確実） ・方法２：rsyncやrobocopyのログを自動もしくは手動でチェックする。（うまくやらないと漏れが生じる可能性が
Ywcafe.net
Ywcafe.net This Page Is Under Construction - Coming Soon! Why am I seeing this 'Under Construction' page? Related Searches: Healthy Weight Loss Best Penny Stocks Cheap Air Tickets Credit Card Application Top Smart Phones Trademark Free Notice Review our Privacy Policy Service Agreement Legal Notice Privacy Policy|Do Not Sell or Share My Personal Information
I, newbie » 一歩先行くNagios: volatile servicesでsyslogを監視
Nagiosのマニュアルは非常によくできていて、ざっと読めば一通りのことはすぐにできるようになる。とりあえずサービスのチェックはできて、notificationもきちんと送られるようになって、escalationなんかも定義できると、ひとまず満足してしまうのだけれど、おもしろい使いかたはまだある。 syslogに特定のlogが出力されたらアラートを上げたい、というのはよくある。swatchを使うという手もあるけれど、syslog-ngを使えばswatchなんぞはいらない。外部コマンドを実行する機能を使って、syslog-ngから直接Nagiosに教えてあげればよい。syslog-ngのprogram()で外部コマンドの標準出力にlogを吐かせて、外部コマンドはnsca client経由でNagiosのnsca serverにその内容を送信。nscaはpipe経由でNagiosにコマンドを実
ウノウラボ Unoh Labs: ベンチャー流サーバ構築のススメ(ソフトウェア編)
尾藤正人です ラボブログではウノウのエンジニアで1日1人1エントリ(早く書くのはあり)で書いてます。おかげさまでウノウも順調にエンジニアの数が増えて、僕の順番に回ってくるのが少しずつ遅くなってきました。でもまだまだウノウではエンジニアを大募集中です!!我こそはと思う方はぜひご連絡ください。 前回のベンチャー流サーバ構築のススメ(ネットワーク編)ではネットワーク周りについて書きました。前回のエントリで言ったように、今回はソフトウェア周りのことについて書きたいと思います。 ソフトウェア周りで重要なのは、同じ構成にする、これにつきます。web サーバにだけ apache をインストールしたりとか、DB サーバにだけ MySQL をインストールしたりだとかいうことはしません。全てのサーバに同じパッケージ、同じプログラムをインストールします。それによる管理コストの軽減ははかりしれないものがあります。
負荷対策概論 - Y-110's Wiki - （ひ）メモ
# トラックバックうてるといいのに。 DB接続のプーリング PHPの*_pconnect系だとhttpdのプロセス分だけ接続が必要で、無駄といえば無駄。 なので、SQL Relayなんかを使うのもアリかと。 ロードバランサ Poundやmod_proxy_balancerもいいけど、Linuxマシンでlvsすればお高いロードバランサ要らずっす。 all in oneならUltra Monkeyがいいけど、中身を理解して弄りたい向きにはkeepalivedがおすすめ。 I/Oパフォーマンス 3wareのハードウエアRAIDカードなんかには、割とでかい（128MBとか）ライトキャッシュがついてるす。これ、ちょー強力。しびれるぐらいI/Oが早くなります。ライトキャッシュ使うときはBBUもお忘れなく。
GIGAZINE - GIGAZINEのLoadAvarageを「27」から「2」へ下げた方法
ここ3日間ぐらい超絶な重さだったのはサーバに物理的トラブルが発生したからではなく、単純に閲覧者数が満員御礼となり、各時間で倍増したためです。LoadAverageはひどいときで15分間の平均値「27.1」程度。瞬間最大風速だともっと高いです……明らかにまずい。 というわけで、Apacheのデフォルト設定で今までは大丈夫だったのですが、ついに高負荷サイト用の設定に変更せざるを得なくなりました。 そのため、実際に行った対処方法は以下の通り。1日30万PV近い動的サイトの高負荷を緩和させる方法として参考になれば幸いです。 まず大前提として、既にDNS逆引きや.htaccessの余計な読み込みなどは停止させていました。下記ページに書いてあることは実行済み。 ＠IT：Apacheパフォーマンス・チューニングの実践（1/2） この状態で負荷が15分平均で「27」になっていたわけです。 また、LoadA
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
とあるアプリの開発運用(トラブルシュート)
Web高速化 || パフォーマンスチューニングBlog: インターオフィス
