Persistence is Power:MySQLユーザコンファレンス2008(1日目)でアメブロの裏側の話を聞いてきた - livedoor Blog（ブログ）
Days in programming, computing, studying, considering and enjoying @東京ステーションコンファレンス。本日1日目は諸事情あり十分な聴講時間がとれなかったこと＆明日2日目は行けそうにない事から、今日聞けた中で一番面白かった Ameba(アメブロ) の話のメモをとりあえずポストしておきます。スピーカーはサイバーエージェントの岡田さん、大黒さん。 セッションのメモは以下に転記しますが、講演の内容は、2006 年以降アメブロで行われた Oracle => MySQL 移行の苦労話や、増大する PV (月間50億PV!) による負荷対策の取り組み、各種ストレージエンジン x ファイルシステムの組み合わせでのパフォーマンス検証結果、自作サーバによる各種ディスク構成でのパフォーマンス検証結果などなど、といったところでした。 率直な
月間3億PVのサーバーってどうなってるの？ pixiv管理者に聞いた | RBB TODAY
9月17日にpixivの月間ページビュー（PV）が3億を突破した。会員数は約32万人、投稿されたイラスト総数は160万枚。1年前の2007年9月10日にサイトがオープンして翌年4月には1億PVを突破している。その後7月に2億PV突破、そして1周年の記念イベントが開催されているタイミングで3億PV突破となった。 pixivは、イラストに特化したSNSサービスで、ユーザーが投稿したイラストを共有したり見せあい、評価、ランキング、ブックマークなどをつけることでコミュニケーションを図るサイトだ。扱うデータが画像ファイルとただでさえ大きくなりがちなのに、月間PVが3億にも達する「お化けサイト」のサーバーはどうなっているのだろうか。 YouTubeがGoogleに買収されるまで、あの膨大な量の動画はどこに保存されているのか、だれが維持しているのかについて「都市伝説」が生まれるくらいだったが、このpix
「サーバ/インフラを支える技術」を読んでお家に帰ろう! - 最速配信研究会(@yamaz)
かなーり前にid:hirose31くんから献本いただいたんだけど,いろいろ思うところがありすぎて書評を書くのが遅れました. 献本ありがとう＆ごめんよ > id:hirose31 [24時間365日] サーバ/インフラを支える技術 ‾スケーラビリティ、ハイパフォーマンス、省力運用 (WEB+DB PRESS plusシリーズ) 作者:安井 真伸,横川 和哉,ひろせ まさあき,伊藤 直也,田中 慎司,勝見 祐己技術評論社Amazon もういろんな人が書評を書いているけれど「サーバ/インフラを支える技術」はとても良い本だ.LVSやDRBDなど「聞いたことあるけど,実績が不明で使うのをためらわれる」ような技術をDSASやはてななどの大トラフィックを受けるサービスで実践投入し,おそらくは試行錯誤の中,相当に痛い目を見てるはずだけど,そんなことはちっともおくびにも出さず我々に答えだけを見せてくれている
ファイル/ディレクトリの変更に応じて任意のジョブを実行するincron | OSDN Magazine
Linuxにてジョブのスケジューリングを行う定番ツールであるcronについては、その機能と活用法を詳細に解説した多数のドキュメント、チュートリアル、ガイドの類が存在しており、今更特に説明する必要はないだろう。こうした伝統的なcronで行えるのが時刻指定型のジョブ実行であるのに対して、ファイルシステムの変更を検出して指定のコマンドを実行させるというコンセプトで作られたcronクローンの一種に incron というツールが存在する（正式名称はinotify cron）。incronを使用するための設定としては、どのようなファイル/ディレクトリの変更を監視対象とするかおよび、そこでの変更発生時に実行すべきジョブの登録が必要となる。 Fedoraユーザの場合はyumを介したincronのインストールが行えるようになっており、具体的には「yum install incron」というコマンドを実行すれ
サーバ/インフラTech Meetingの報告＋資料を公開します : DSAS開発者の部屋
先週の金曜日に行われたサーバ/インフラ Tech Meetingの資料を公開します。 この本を書いたわけ - ひろせまさあき(PDF, 1594KB) DSASのこれから - 安井真伸(PDF, 529KB) はてなの伊藤さん、田中さんの発表資料も既に公開されています。 サーバ/インフラ Tech Meeting の資料など - naoyaのはてなダイアリー はてなのインフラ、いまむかし @ サーバ/インフラ Tech Meeting - とあるはてな社員の日記 また、当日の動画もニコニコ動画にアップされています。cojiさんありがとうございました！ サーバ/インフラ Tech Meetingの動画 - TechTalk.jp これらの資料、動画や、当日の会場の写真などは、まとめて技評さんのサイトにもアップされると思いますので、そちらもチェックしてみてください。 サーバ/インフラ Tech
メール・サーバー用ベンチマーク・ツール Postal | OSDN Magazine
Postalプロジェクトが提供するスイートには、メール・サーバーのパフォーマンスを測定するためのプログラムが3本含まれている。その中心となるのは、指定された頻度で指定された宛先リストに電子メールを送るプログラムpostalだ。これを利用すると送られてきた電子メールを処理する速度がわかり、したがってメール・サーバーの強化に先だってソフトウェアやハードウェアの変更によって得られる改善の程度を知ることができる。たとえば、現状のハードウェアのままでIMAPサーバーを変更したとき1秒間に処理可能な電子メール通数が向上するかどうかを予測することができる。 Postalスイートには、このほか、指定された頻度でメール・サーバーにポーリングし新着電子メールを取り出すPOPクライアントrabidと、送られてきた電子メールをすべて破棄するサーバーとして機能するBlack Hole Mailer（bhm）がある。
0×0018 till I die » はてなnaoyaさん「はてなを支えるバックエンドシステム」
403 Forbidden nginx
ハードウェアRAIDとLinuxカーネルによるソフトウェアRAIDのベンチマーク比較 | OSDN Magazine
新しいサーバに高価なハードウェアRAIDカードを付けることで、ディスクアクセスの速度はどれほど向上するのだろうか。LinuxカーネルによるソフトウェアRAIDとハードウェアRAIDカードのパフォーマンスの違いはベンチマークで評価できる。私の環境でこの2つの条件を評価したところ、いくつか興味深い結果が得られた。 ソフトウェアRAIDとハードウェアRAIDの双方について、750GBのSamsung SATAドライブ6台を使ってRAIDレベル5、6、10の各構成を評価した。パフォーマンスの測定にはBonnie++とIOzoneの各ベンチマークを用いた。また、チャンクサイズがハードウェアまたはソフトウェアのRAID構成に与える影響を確かめるために、チャンクの大きさを変えてベンチマークを実行した。 ハードウェアRAIDの評価には、12ポートのAdaptec製SAS-31205 PCI Express
syslogdの限界と次世代シスログデーモン（1/3） ― ＠IT
UNIX系OSのシステムロギングをおよそ20年の長きにわたって支えてきた「syslogd」にも、限界が見えつつあります。その限界を打ち破る機能を備えた新しいシスログデーモンを紹介します。（編集部） シスログデーモン「syslogd」は、UNIX系OSのシステムロギングをおよそ20年の長きにわたり支えてきました。しかし、増大する信頼性や安全性への要求、ログの適正保管といった要望に応えるには、syslogdでは力不足との声が高まっています。 そんな折、システムロギングをより確実に行い、RDBMSへのデータ保存や監視システムの連携といった可用性にも優れた、「syslog-ng」や「rsyslog」が注目を集めています。この連載では、こうした次世代シスログデーモンを取り上げ、導入方法や活用方法を解説します。 システムロギングとsyslogd 実行したイベントの履歴、システム不調や変更の記録、不正ア
ウノウラボ Unoh Labs: プロセスの監視を行う デーモン monit
こんにちは satoです。 monitは プロセスの監視を行うデーモンです。 条件とそれに伴うアクションを指定することができます。 条件とは例えば以下のようなものがあります プロセスが起動していなかったら 特定のプロセスのメモリの使用量が あるサイズを超えたら 特定のプロセスのCPUの使用率が 50%を超えている状態が 10分続いたら 特定のポートに接続できなくなったら など アクションには以下のような物があります 起動、再起動する アラートメールを送信する ユーザスクリプトを実行する など これらを組み合わせて、プロセスの監視を行います。とくにユーザが作成したプログラムの監視などに効果を発揮します。インストールは RedHat系なら yum install monit で入ります。(CentOSや商用のRedHatはrpmforgeをリポジトリとして追加する必要があります) 主な設定ファ
LDAPによるApacheの認証と認可 - SourceForge.JP Magazine
ネットワーク管理者は、しばしばLDAP（Lightweight Directory Access Protocol）を使って集中型ディレクトリサーバの実装を行う。LDAPはApacheでのユーザ認証にも使用される。オープンソースのLDAPソリューションとしてよく知られているのはOpenLDAPとRed Hat Directory Serverの2つであるが、ApacheのマニュアルによればNovell LDAPとiPlanet Directory Serverもサポートされている。本稿はOpenLDAPを対象としたものであるが、ここで紹介する考え方と例はほかのものにも当てはまるはずである。 LDAPはITU-T X.500ディレクトリの仕様を簡素化したバージョンとして設計された。デフォルトのスキーマセットには、/etc/passwdおよび/etc/groupといった従来のLinuxファイル
CodeZine：DeNAの人気サイトに学ぶ LAMPによるWeb-DBシステム構築/運用の極意（前編）（モバオク, モバゲー）
シングルマスタの非同期レプリケーション機能では、マスタサーバーが1台に限定され、マスタからスレーブへの複製は非同期で行なわれるため遅延が生じ、短時間のスケールで見ると全スレーブとの同期が保証されない。しかし、その反面スレーブの台数を増加させていってもマスタサーバーの更新負荷は大きくならず、スケーラビリティを維持できるという利点がある。DeNAによる運用実績でも、マスタとスレーブ間の遅延は通常数秒程度以内に収まる。 このレプリケーションを利用する場合、アプリケーション側ではデータ更新時にはマスタサーバーへ接続し、データ参照のみを行なう場合はスレーブサーバーへ接続するように作成する必要がある。 Webや携帯電話向けサービスの場合、小さな規模で始めてユーザー規模、データ規模、ページビュー数を徐々に増加させていくことが多い。小さな規模のためDBの負荷分散が不要な場合でも、マスタサーバー1台、スレー
シェルスクリプトで標準入力を加工する際の注意点 : DSAS開発者の部屋
シェルスクリプトで標準入力を加工する際に若干ハマリかけたので、今回はそのお話をしたいと思います。 みなさんのシェルスクリプトライフの一助になれば幸いです。 標準入力を加工するシェル関数、例えば、 入力を本文とするメールを送るシェル関数 ログを入力として受け取り、集計や解析をするシェル関数 を書く場合、みなさんどういう風に書いているでしょうか。 私は今までこんな風に書いていました… send_mail() { from='sender@example.org' to='receiver@example.org' { echo "From: ${from}" echo "To: ${to}" echo "Subject: test" echo cat - } | qmail-inject -A -f${from} } make_mail_body | send_mail これの何が問題かという
連載：オープンソースなシステム自動管理ツール Puppet｜gihyo.jp … 技術評論社
運営元のロゴ Copyright © 2007-2024 All Rights Reserved by Gijutsu-Hyoron Co., Ltd. ページ内容の全部あるいは一部を無断で利用することを禁止します。個別にライセンスが設定されている記事等はそのライセンスに従います。
負荷とか監視とか - 最速配信研究会(@yamaz)
naoyaのはてなダイアリー - マルチコア時代のロードアベレージの見方 を読んで思い出したこと. 前職ではいろんなサービスがいろんな方式でサービスを行ってた. Javaあり,FreeBSDあり,Solarisあり,Threadバリバリ,プロセス立ち上げまくり,○○のサーバ,メモリ沢山載ったサーバ,古いサーバ,改造××などなど. そんなサーバ群はロードアベレージ20とかでも平気でサービスを行ってる一方で,ロードアベレージ1くらいでも苦しそうな(?)サーバとかもあって,ロードアベレージという数字はあまり役に立ってなかった.そんな中で我々のチームが下した結論は 「ロードアベレージは何かの数字を表しているかも知れないけれど, ＊絶対的な数字＊として使うにはきっと役に立たない」 というものだった. 監視などをするにあたって,ロードアベレージ,IOStat,使用帯域,メモリ使用量などの各種パラメータ
ページが見つかりません | 日本HP
ページが見つかりません。 目的のページは、移動または削除によって無効になっている可能性があります。申し訳ありませんが、検索またはリンク先よりお探しください。
機能拡張タグ
A.B.C.D HOST # NKTIME=<day>:<starttime>:<endtime>[,<day>:<starttime>:<endtime>]
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
DARで賢くバックアップ(1/2) - Linux Home Server Memo - 自宅サーバ
http://www.typemiss.net/blog/kounoike/20061019-100