30+ capabilities, 750+ integrations, the power of AI, all together.
じつは自宅サーバのロードアベレージが上がり続けています。分析の結果、ボトルネックは I/O 処理でした。CPU は Athlon64 X2 4400+ ですが、まだまだ当分この CPU で間に合いそうです。HDD は当時は 7200 回転で最速だった HITACHI Deskstar T7K250 SATA2 250GB を RAID1 構成にしたのですが、今思えば速度優先で RAID0 にしておけば良かったと少しだけ後悔。 I/O がボトルネックに成っている理由ですが、Drk7jp が公開しているサービスの全てがキャッシュファイルを利用した高速化手法を取っているのですが、単純にそれらファイルの write 処理が追いついていません。常に何らかのプロセスで I/O 待ち状態が発生しているような状況です。抜本的な解決方法としては disk を高速なものに交換する以外ありません。 というわけで
■ 本当はもっと怖いGoogleマイマップ 適当に検索して見つけたブログで(既に消えているようだが)こんな発言があったようだ。 Googleマップで他人の個人情報を晒したことに気づいてあわてている人のニュースが、最近、盛んだ。 いったいどうしてこんなことになってしまうのか、私には不思議でならない。 私もマイマップはよく使っているので、公開・非公開の違いは注意深くチェック ... Googleマップに他人の個人情報を掲載する愚か者と、ここぞとばかりに ..., オリマー, 2008年11月8日 しかしどうだろう。Googleマイマップを「よく使っている」という人でも、自分が作成するマップがいつどの時点で公開状態となるのか(パブリッシュされるのか)、そのタイミングを理解している人はどれだけいるだろうか。 Googleマイマップの「新しい地図を作成」をクリックした直後はこうなっている。
一昨日から今日まで3日間の日程で開催されていた、MySQL Conference & Expo 2007に行ってきました。日帰り圏内どころか、自転車圏内で、こういうカンファレンスがあるのは、素晴しいです。 詳細は、随時アップされるであろうプレゼン資料と、Planet MySQLに大量の報告があります(全部英語ですけど)。 個人的に注目していたのは、Digg.com、Flickr.comとYoutube.comのDB周りアーキテクチャのセッションでした。あとは、http://www.mysqlperformaceblog.com/の人のセッションは、細かいTipsが多く、具体的にだいぶ役に立ちそうです。 というわけで、簡単に注目したセッションの内容を紹介してみます。ちなみに、内容の正確さは無保証です:P 気が向けば、もっといろいろ考察してみるかもしれません。 Technology at Di
Photo by harry harris いまPhotoShareのサーバの実装を大きく変えようとして悩んでいます。 (参考: Life is beautiful: マルチスレッド・プログラミングの落とし穴、その2) Rails 2.2でThread safeになるとか、NeverBlockで12倍速くなるっていう話もあるんだけど、負荷が上がればレスポンスが悪くなるのは、どうしようもない。マシンを増やせば解決できる部分もあるけど、マシンを増やせばコストは上がる。 Life is beautifulで書かれていますが、確かに全部の処理を同期的に行う必要はないんですよね。 PhotoShareでも、既にいくつかのページは非同期にerbを生成して、それをRailsとerubisで読み込んで実行しています。 しかし、Railsだけではこういった非同期の処理やviewの一部を事前に生成するという処
先日開催された memcached Night in Tokyo #1 というのに参加してきた。 http://groups.google.com/group/memcached-ja/web/memcached-night-in-tokyo-1 夕方6時開催という昨今の勉強会としては早めの開始時刻なので、あたふたと会社を出た。場所は原宿である。おされな場所である。浮足立つ。ということはどうでも良くて会場であるmixiに初めていったのだが綺麗なオフィスであった。 memcachedというのは、データベースに対する分散メモリキャッシュ技術みたいなもので昨今のWebではよく利用されている。国内ではmixiでの事例がよく知られている。 http://ja.wikipedia.org/wiki/Memcached この話を初めて聞いたとき、うーん随分乱暴な話だな、RDBMSでやるべき仕事だろ、そー
$200K 1 10th birthday 4 abusive ads 1 abusive notifications 2 accessibility 3 ad blockers 1 ad blocking 2 advanced capabilities 1 android 2 anti abuse 1 anti-deception 1 background periodic sync 1 badging 1 benchmarks 1 beta 83 better ads standards 1 billing 1 birthday 4 blink 2 browser 2 browser interoperability 1 bundles 1 capabilities 6 capable web 1 cds 1 cds18 2 cds2018 1 chrome 35 chrome 81
TheC10kProblem - 「C10K問題」(クライアント1万台問題)とは、ハードウェアの性能上は問題がなくても、あまりにもクライアントの数が多くなるとサーバがパンクする問題のこと 目次 この文書について C10K 問題 関連サイト まず読むべき本 I/O フレームワーク I/O 戦略 1. 各スレッドが複数のクライアントを受け付ける. そしてノンブロッキング I/O と レベル・トリガ型の完了通知を利用する. 伝統的な select() 伝統的な poll() /dev/poll kqueue() 2. 各スレッドが複数のクライアントを受け付ける. そしてノンブロッキング I/O と 変更型の完了通知(readiness change notification)を利用する. kqueue() epoll リアルタイム・シグナル fd 単位のシグナル (Signal-per-fd)
このウェブサイトではサイトの利便性の向上を目的にクッキーを使用します。ブラウザの設定によりクッキーの機能を変更することもできます。詳細はサイト利用条件をご覧ください。サイトを閲覧いただく際には、クッキーの使用に同意いただく必要があります。 目指すのは コミュニケーションを 最適化する メッセージング プラットフォーム 消費者ニーズの多様化とともに、モバイルツールをはじめとしたウェブ環境の拡大・発展は、各種マーケティングにおいて大きな変容をもたらしています。同時に、情報を安全に管理・活用するためのセキュリティ対策の高度化も大きな課題となっています。 ユミルリンクは、企業のインターネットでのコミュニケーション課題をトータルに解決する「メッセージングソリューションプラットフォーム」を提供する会社です。 01
Linux は fork で子プロセスを作成した場合、親の仮想メモリ空間の内容を子へコピーする必要があります。しかしまともに全空間をコピーしていたのでは fork のコストが高くなってしまいますし、子が親と同じようなプロセスとして動作し続ける場合は、内容の重複したページが多数できてしまい、効率がよくありません。 そこで、Linux の仮想メモリは、メモリ空間を舐めてコピーするのではなく、はじめは親子でメモリ領域を共有しておいて、書き込みがあった時点で、その書き込みのあったページだけを親子で個別に持つという仕組みでこの問題を回避します。Copy-On-Write (CoW) と呼ばれる戦略です。共有メモリページは、親子それぞれの仮想メモリ空間を同一の物理メモリにマッピングすることで実現されます。より詳しくは コピーオンライト - Wikipedia などを参照してください。 この CoW に
_ 歯がゆい なんかトラブル続きだ。 RAID 壊れたマシン復旧 最初のセットアップにちょっとだけ関わっただけで、ずっと関知していなかったもの。 RAID の異常なのだけれど、調べてみれば、最初のディスクが死んだのは 去年の11月らしい。監視してなったのね……。 結局私に回ってくるんだったらセットアップに関わった時にエラーを 飛ばすものを色々しこんでおくんだった……。 DELL のサポートは非常に丁寧で、壊れている可能性のある場所を全部指摘して チェックするように言ってくれる……のはありがたいんだけどその分時間が食われる。 でもここでサボるとまた二の舞だし。 NFS overload? 他の仕事で NFS サーバの過負荷らしき現象。駄目だ、知識が足らない。 アイデアも出せない。そしてサーバルームに走ることも出来ない。 desire落ち この日記の動いているマシンがときどき落ちる。 といって
ここしばらく、水面下でBrian Akerを代表とするMySQL/SUNのエンジニアたちや、業界のオープンソースハッカーたちとMySQLをスリムダウンさせたマイクロカーネルRDBMSを開発していたのですが、本日アナウンスされたので、日本語でご紹介させていただきたいと思います。 Drizzleとは? Drizzleとは必要のないものは一切存在しない、最低限でパフォーマンス重視な「MySQLよりシンプルで、軽く、安定して、高速な」 MySQLのforkです。マイクロカーネルアーキテクチャを採用したので、必要のないものは後付けできる構成です。こういった目標もあり、現在、Drizzleの開発チームはMySQLをドラスティックにリファクタリングしています。 コミュニティベースのプロジェクト Drizzleで大事な事は、Drizzleはコミュニティベースのプロジェクトであるという事です。Montyのブ
連休中はWiiのマリオカートをやりまくってやっとVR7000越えたmikioです。愛車はマッハ・バイクとインターセプターです。さて今回は、分散ハッシュデータベースサーバTokyo Tyrantでmixiの最終ログイン時刻を管理するようにした時の苦労話を書きます。 ログイン処理は負荷地獄 mixiでは、全てのユーザについて、各々の最終ログイン時刻を管理しています。「マイミクシィ一覧」や「お気に入り」などの画面で、友人が近い時間にログインしていてコミュニケーションがとりやすい状態にあるかどうか確認できるようにするためです。 mixiのほぼ全てのページはログインしないと見られないページなので、ほぼ全てのページにアクセスされるたびにログイン確認が行われます。したがって、最終ログイン時刻はほぼ全てのページにアクセスされる度に更新されることになります。mixiの中で最も重いデータベースのひとつとして「
同じコンピュータでも、Linuxを走らせたときの方がWindows XPやVistaを走らせたときよりも性能は高くなる。しかしLinuxシステムはさらに高速化することも可能だ。本稿では、Linuxシステムの性能を向上させるための、3つの異なるレベルで行う最適化の方法を紹介する。 同じコンピュータでも、Linuxを走らせたときの方がWindows XPやVistaを走らせたときよりも性能は高くなる。しかしLinuxシステムはさらに高速化することも可能だ。この記事では、Linuxシステムの性能を向上させるための、3つの異なるレベルで行う最適化の方法を紹介する。 あらゆる最適化について言えることだが、何らかの簡単なベンチマークを行なわなければ、結果を本当に向上させることができたのかどうかを知ることはできない。Linux PC上では通常、数多くのプロセスが走っていて、それらが性能の測定に影響を与え
スケーラブルWebサイトを読んでたらnoatimeの事が書いてあったので、画像を保存してるディスクをnoatimeでマウントし直したらロードアベレージとDiskのI/Oがえらい下がった。 (途中、データが取れてない部分がありますが、サーバがダウンしてたわけではなくて単に監視がうまくいってなかった) 再マウント時のコマンド: mount -o noatime,remount,rw /dev/sda2 画像配信のキャッシュサーバの方も同じくnoatimeでマウントしてみたけど、そっちはSquid使ってるのでキャッシュが単一のファイルの為効果はなし。 結論としては、大量のファイルを保有してる場合はnoatimeの効果は絶大だと。
Best Practices for Speeding Up Your Web Site The Exceptional Performance team has identified a number of best practices for making web pages fast. The list includes 35 best practices divided into 7 categories. Minimize HTTP Requests tag: content 80% of the end-user response time is spent on the front-end. Most of this time is tied up in downloading all the components in the page: images, styleshee
freeコマンド freeはシステムの物理メモリとスワップメモリそれぞれに対して使用量と空き容量を表示しカーネルが用いているバッファも表示します。 使用方法 $ /usr/bin/free [オプション] 主なオプションとしては、以下のものがあります。 -b:メモリの量をバイト単位で表示します。 -kではキロバイト単位(デフォルト) で表示し、-mではメガバイト単位で表示します。 -t:物理メモリ、スワップメモリの合計を示す行も表示します。 -o:「バッファの分を増減した行」を表示しません。このオプションを指定しない限り使用中のメモリからバッファメモリを引いた値と未使用のメモリにバッファメモリを足した値を表示します。 -s:繰り返し実行をする間隔(秒)を指定することでその間隔での繰り返し実行ができます。例えば2秒ごとに繰り返し実行するには free -s 2 となります。間隔は秒未満の短い
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く