IDEA * IDEAドットインストール代表のライフハックブログ
月間57億PV、300台のサーバを運用するミツバチワークスが編み出したインフラ技術
ミツバチワークスのエンジニアは、「月間57億PV」という巨大なトラフィックをさばくため、さまざまな技術を駆使してインフラを構築している。主と副の2本立てでデータベースを運用し、300台のサーバを使いながら「負荷の限界」に挑むエンジニアに、技術ノウハウを聞く。 ミツバチワークスが運営するケータイブログサービス「DECOLOG」は、異色のサービスである。10代後半から20代前半の女性に最も人気のあるケータイブログサービスで、「デコメール」などを利用して、かわいくカラフルなブログを作成できる。広告基準を厳しくすることで女性ユーザーにも不安なく使ってもらえるような安心感を作り出し、口コミだけでじわじわとアクセス数を伸ばしてきた。 結果、2010年7月実績で月間57億PV（ページビュー）超、想定800万UU（ユニークユーザー）、会員登録者数180万件と、ケータイブログサイトでは国内最大のサービスとし
ウノウラボ Unoh Labs: サーバのネットワーク速度の調査/測定方法
こんにちは。kyagi です。先日データセンタ内のサーバ群のうち、なぜか特定の１台だけネットワークの速度が極端に遅いという問題がありました。今回はサーバマシンのネットワーク速度の測定方法と原因についてお話しします。同様のトラブルが発生している方のお役に立てば幸いです。問題解決までの手順としては以下になります。 1. 現在の状態を調べる 2. ハード/ソフト含めて考えられる原因をいくつか挙げる 3. 原因について改善されるまでひとつひとつ検証していく まず現在の NIC の HW 情報とドライバを lspci で調査します。ここでは Broadcom の NetXtreme BCM5722 という NIC を使用していることがわかります。 # lspci -vvv | grep Ether 01:00.0 Ethernet controller: Broadcom Corporation
「モバゲータウン」のつくりかた − TechTargetジャパン システム開発
低価格なPCサーバ1000台で1日6億PVをさばく 「モバゲータウン」（以下、モバゲー）といえば、誰しも「中高生に絶大な人気を誇る携帯サイト」という認識ぐらいはあるだろう。ゲーム、ニュースに小説、占いなどのコンテンツ、アバター（仮想キャラクター）を装ったSNSコミュニケーション、ディー・エヌ・エー（以下、DeNA）が運営するショッピングやオークションサイトなどが利用できる、携帯電話向けの総合ポータルサイトだ。 DeNAのポータル事業本部 システム部 部長、武部氏 モバゲーは2009年5月現在で会員数1419万人、月間ページビュー（PV）は約183億を誇る。つまり、1日当たり6億PVである。さぞかし大掛かりなシステムを運用しているのだろうと想像してしまうが、意外にそうではない。 DeNAポータル事業本部 システム部の部長、武部雄一氏は「モバゲーのシステムは、比較的低価格なPCサーバ機1000
メンテナンス中画面を出す正しい作法と.htaccessの書き方 | Web担当者Forum
今回は、Webサイトやサービスをメンテナンス中にする場合に、どのURLにアクセスしても「メインテナンス中です」の画面を出す正しいやり方を、人間にも検索エンジンにも適切にする作法を主眼に解説します。 この週末の土曜深夜～日曜早朝にかけて、データセンターの設備メインテナンスのため、Web担を含むインプレスグループのほとんどのWebサイトが、どのURLにアクセスしても「メンテ中です」という表示になっていました。 なのですが、その実装がちょっと気になったので、「正しいメンテナンス画面の出し方」を説明してみます。 ※2010-01-16 Retry-Afterを指定するHeaderの指定を修正しました（コメント参照） ※2009-06-17 RewriteCondから [NC] 条件を削除しました（コメント参照） ※2009-06-16 Retry-Afterの記述をGMTに変更しました（コメント参
[postfix]キューから削除 | quabbinの日記 | スラド
ちょっとした操作メモ。 手元の環境では、サーバはテストと本番に別れているが、このテスト側にちょっとした障害が起きていて、不要なメールが溜まってしまっていた。 この「不要」なメール、送信されてしまうとウザいことになるので、削除しようとしたのだが、ちょっとgoogle頼みしてもやり方がわからなかった。 そこで、ドキュメントをいろいろひっくり返していたら、「一時的な問題」により配送されなかったメールは、"deferred"キューにたまり、再配送を待つらしいという記述を発見。 そこで、postfixを停止し、このdeferred_queueを削除して再起動し、再配送要求をしたところ、確かにキューから削除された。 [root@miracle4 ~] # /etc/init.d/postfix stop postfix/postfix-script: stopping the Postfix mail
常駐型サーバープログラムのデバッグ手法
BOOK: WEB+DB Press TITLE: 常駐型サーバーのデバッグ手法(ドラフト版) AUTHOR: (株)プリファードインフラストラクチャー 太田一樹 ＊注: この文章はWEB+DB PRESS Vol.48に掲載された記事のドラフト版です はじめに 今回はデバッグ関連特集ということで、常駐型サーバープログラムを作成する際のハマりどころやそれに対する解析方法・解析ツール・対策を、実際の経験を交えながら紹介したいと思います。 筆者は(株)プリファードインフラストラクチャーでインメモリ分散検索エンジン「Sedue (セデュー)」を開発しています。モバイル向け検索エンジン「エフルート」や、2008/11/6にリニューアルされました「はてなブックマーク2」などの検索バックエンドとして使われております。 この検索エンジンはいくつかの常駐型サーバープログラムから構成されており
Linux チューニング - Ext3 のパフォーマンスを最大化させる
じつは自宅サーバのロードアベレージが上がり続けています。分析の結果、ボトルネックは I/O 処理でした。CPU は Athlon64 X2 4400+ ですが、まだまだ当分この CPU で間に合いそうです。HDD は当時は 7200 回転で最速だった HITACHI Deskstar T7K250 SATA2 250GB を RAID1 構成にしたのですが、今思えば速度優先で RAID0 にしておけば良かったと少しだけ後悔。 I/O がボトルネックに成っている理由ですが、Drk7jp が公開しているサービスの全てがキャッシュファイルを利用した高速化手法を取っているのですが、単純にそれらファイルの write 処理が追いついていません。常に何らかのプロセスで I/O 待ち状態が発生しているような状況です。抜本的な解決方法としては disk を高速なものに交換する以外ありません。 というわけで
rsync (+ ssh) で簡単バックアップ
Miscellany Top > Linux Memo > backup by rsync Backup by rsync (+ssh) 2000.12.8 updated Linux/UNIX 上のデーターを（別の Linux/UNIX マシンに）バックアップしたり、２つのマシンのあるディレクトリどうしの内容を同期するのに、どうしているでしょうか？私の場合、以前は NFS でマウントして、cp -a （コピー）したりしていたのですが、環境が変わってから NFS を利用できなくなってからは、rsync を使うようになりました。 この rsync によるバックアップというのは、使うまでは「設定その他が必要で面倒そう...」と思っていたのですが、実際にやってみると手動でバックアップ・同期するだけなら設定も必要なく、あっさり使えました。 また、ssh と併用することでポートフォワーディング先のマ
I, newbie » ssh(1)を使い倒す
sshを使いこなしていないひとを見るとイラっとする。パスワード認証大好き(もう21世紀ですよ)、パスフレーズ入れるのが面倒(keychain使えよ)、放っといたssh接続が切れて「また切れた!」(screen使えよ)とか。 ()は~/.ssh/configにおける同等の設定。詳しくはssh(1)とssh_config(5)を参照のこと。 一定期間ごとにパケットを送って、無通信時間経過によりセッションが切断されるのを回避する。 > ssh -o 'ServerAliveInterval 60' host.example.org (ServerAliveInterval 60) ssh-agentのforwardingを有効にして、login先のホストでもパスフレーズの入力を省略する。 > ssh -A host.example.org (ForwardAgent yes) remoteのコン
Apacheのトラブルを解決する10のヒント - builder by ZDNet Japan
本当のデータ活用できていますか？ データドリブンがあたりまえと言われる今あらためて考えたいデータ活用のありかた これからの社内DX 真のDXのため、まずは社内のデジタル化を DXのファーストステップのヒント データ活用は次のステージへ トラディショナルからモダンへ進化するBI 未来への挑戦の成功はデータとともにある コマース広告の大変動 プライバシー保護とパーソナライズの狭間で マーケティングの効果を最大化するためには オープンソース活用はあたりまえ！ そんな今だからこそ改めて考える 企業ITにおけるOSS活用のメリットとリスク 仮想環境データ保護の新次元 高度化・複雑化するIT環境の課題への解決策 最新鋭データ保護・管理ソフトウェア基盤 最新ストレージで変わるIT運用 仮想化テクノロジーとFlashArrayの組合せで 運用負荷軽減と高性能化を実現したDMM 現場主導のデジタル変革 ビジ
Linux I/O のお話 write 編 - naoyaのはてなダイアリー
write はページに dirty フラグを立てるだけなので決してユーザープロセスを待たせない って、本当にそうなんでしょうか？（否定しているわけではなく、純粋な疑問です。） と質問をもらったので、最近追ったことをここでまとめます。かなり長文です、すいません。また、まだまだ不勉強なので間違っているところもあるかもしれません。ツッコミ大歓迎です。 まず、オライリーのカーネル本の 15章 ページキャッシュ 15.3 汚れたページのディスクへの書き込み から引用。 ご存知のように、カーネルは、ブロック型デバイスのデータを含むページをページキャッシュに蓄えています。プロセスが何らかのデータを更新した場合は、必ず対応するページに汚れている印をつけます。すなわち、PG_dirty フラグを設定します。 UNIX システムでは、汚れたページのブロック型デバイスへの書き込みを遅延することができます。この方
【特集】Tomcat 6の実力を早速試す - 移行するべき? その時期は? | エンタープライズ | マイコミジャーナル
Copyright (C) Mainichi Communications Inc. All rights reserved. 掲載記事の無断転載を禁じます
[ThinkIT] 第1回：Inside Hatena Bookmark (1/2)
筆者が勤務する株式会社はてなが提供するある一つのインターネットサービスを題材に、LAMP（Linux＋Apache＋MySQL＋Perl）でのアプリケーション開発や、負荷分散について述べるという発表でした。はてなで提供しているサービスには、はてなブックマーク以外にもはてなダイアリー（注2）のような月間何億PV（Page View）もある大きなサービスもあります。はてなブックマークはそれらに比較すると小さい、中規模なシステムです。 システム運用について発表するにあたって、億単位のPVをさばく巨大なサービスについて述べるよりも、ある程度現実的な規模のものについて解説する方が、みなさんの参考になるかなと思い、このテーマを選択しました。 本稿ではYAPC::Asiaでの発表の中からいくつかのトピックを選んで、Perlを使ったシステムの運用や負荷分散のコツなどを中心に解説したいと思います。 なお、発
数字でわかる最適レンタルサーバー | Web担当者Forum
レンタルサーバー選びというと、初期費用や月額料金といった、料金がまず気になるところだ。しかし、いくら安価でも、スペックが不足していて目的を果たせないレンタルサーバーを選んでしまっては意味がない。レンタルサーバー選びでは、料金以外にも、ディスク容量や転送量制限などの数値も重要な要素となるのだ。 とはいえ、必要なディスク容量なんてはっきりわからないことが多いし、適切な転送量なんて自分が教えてもらいたいくらいだろう。困った挙げ句、「どうせメールとウェブだけだから」と適当に決めてしまうのは危険だ。サービスを開始したあとでレンタルサーバーを引っ越すのは手間がかかるし、メールやウェブは意外に多くのディスク容量や転送量を必要としているからだ。 この記事では、ディスク容量や転送量などのリソースの算出法を紹介するので、今後のレンタルサーバー選びの目安としてほしい。 考慮すべき3つの基本要素レンタルサーバーを
ZABBIX-JP - Un-Official Support Page
このサイトは統合監視ソフトウェア"Zabbix"の非公式日本コミュニティサイトです。日本におけるZabbixの普及を目標としています。 ZabbixはZabbix LLCにより開発され、日本国内のオフィシャルサポートはZabbix Japanが提供しています。 Zabbixオフィシャルリリース(ソースコード) 6.2.3 (2022/9/21) [ダウンロード] : [リリースノート] 6.0.9 (2022/9/21) [ダウンロード] : [リリースノート] 5.0.28 (2022/9/19) [ダウンロード] : [リリースノート] 4.0.44 (2022/9/19) [ダウンロード] : [リリースノート] Zabbixオフィシャルパッケージ (rpm, deb) Zabbix LLCのZabbix 4.0、5.0、6.0オフィシャルRPM(RHEL, CentOS, SUSE
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Ywcafe.net
※借りれるローン？！※お金も仕事もない時に頼れる金融会社！
sanonosa システム管理コラム集
aguse.jp