グリーの大規模分散ストレージ戦略(nanofs) | GREE Engineering
はじめに はじめまして、グリー株式会社でエンジニアをしておりますkgwsと申します。今回は、グリー内で写真データの保存を行っている分散ストレージ(nanofs)を紹介させていただければと思います。 背景 弊社で運営させていただいている "GREE" ではユーザの写真や動画データを保存することができます。1億ユーザを目指すグリーは、ユーザの増加とともに写真や動画データは上限なしに増加していきます。またユーザの皆様の大切なデータを失うことは許されませんし、サービスを止めることも許されません。そんな状況の中、様々な技術や仕組みを使いサービスを運営してまいりました。 グリーのストレージの歴史は大きく分けて3世代がありました。 第一世代 第一世代ではアプリケーションサーバからNFSサーバをマウントし画像データを保存しておりました。簡単に導入できることと高価なサーバを使用すれば信頼性や安定性も保たれる
Webを高速化するために、私たちに何ができるか？ 「続・ハイパフォーマンスWebサイト」
Publickey グーグルがWebを高速化するために何をしているか http://goo.gl/KyBk この記事に興味を持った人は、是非、オライリーの「続・ハイパフォーマンスWebサイト」も読んで欲しい。http://goo.gl/davBless than a minute ago via Chromed Bird及川卓也 / Takuya Oikawa takoratta 本のページをめくるようにWebページの表示を高速化することを目指して、グーグルがWebブラウザやTCP/IP、HTTPといった通信プロトコルの改善を行っているのと同様に、私たちWebサイトを構築する側にも、Webを高速化するために使えるさまざまな手段があります。 それをまとめたのが書籍「続・ハイパフォーマンスWebサイト」です。以前、オライリー・ジャパンの編集担当の方から献本いただいていたので、さっそく紹介しまし
Cybozu Inside Out: ScaleBench 公開
どーもみなさま。こんにちは。 amachang と申します。 さて、ようやく ScaleBench というプロダクトが発表されましたね！ ScaleBench のご紹介 で、僕もこれの開発に携わっていたのでちょっと技術的なことについて書いてみたいと思います。 ScaleBench とは ScaleBench とは、サイボウズ製品向けの負荷テストツールで Grinder というオープンソースの負荷テストツールをベースにしています。 Grinder とは Java を使った Web の負荷テストツールです。 Jython でシナリオ（ユーザがどう行動するか）を書いてそれを実行します。 またブラウザの操作を記録して、シナリオを自動で生成することもできたりします。 で、僕がこのプロジェクトで担当していたのが Grinder の改良、改造 シナリオ（バーチャルユーザがどのような順で負荷をかけていくか
Linuxでシステムに対して意図的に高負荷をかけたい場合 - 元RX-7乗りの適当な日々
今更感があるかもしれませんが紹介。 stressコマンドを使うと、CPUやメモリ、ディスクに対して意図的に負荷を与えることができます。 どこで使うかというと、、、高負荷時のシステムの挙動を見たい場合、AutoScaling等の負荷状況に応じて自動でスケールアップ/アウトさせるための仕組みのテストをしたい場合、部屋が寒いときにPCに発熱させたい場合ｗｗｗなどで使えるのかな、と。 Stressをインストール CentOSやRedHatの場合は、DAG(rpmforge)のリポジトリがあるので、ここのパッケージからインストールしましょう。 DAGをyumのリポジトリに追加する場合は、以下リンクから(CentOS5[x86_64]系の2010/05/14時点の最新版は)"rpmforge-release-0.3.6-1.el5.rf.x86_64.rpm"をダウンロードして、rpmインストールしま
なぜTwitterは低遅延のままスケールできたのか 秒間120万つぶやきを処理、Twitterシステムの“今” − ＠IT
ユーザー同士のつながりを元に時系列に140文字のメッセージを20個ほど表示する――。Twitterのサービスは、文字にしてしまうと実にシンプルだが、背後には非常に大きな技術的チャレンジが横たわっている。つぶやき数は月間10億件を突破、Twitterを流れるメッセージ数は秒間120万にも達し、ユーザー同士のつながりを表すソーシャル・グラフですらメモリに載る量を超えている。途方もないスケールのデータをつないでいるにも関わらず、0.1秒以下でWebページの表示を完了させなければならない。そのために各データストレージは1～5ms程度で応答しなければならない。 Twitterのリスト機能の実装でプロジェクトリーダーを務めたこともあるNick Kallen氏が来日し、2010年4月19日から2日間の予定で開催中の「QCon Tokyo 2010」で基調講演を行った。「Data Architecture
Twitterのクジラ解剖学、あるいは彼らがいかにサーバの処理能力を向上させたか
Twitterを利用していると、ときどきクジラの絵の画面が表示されることがあります。これはTwitterの処理能力がパンクして一時的に利用不可になったときに表示されるお馴染みの画面。 2月9日にTwitter Engineeringブログにポストされたエントリ「The Anatomy of a Whale」（クジラの解剖学）では、Twitterのエンジニアたちがこのクジラの内部に分け入ってどのようにTwitterサーバの処理能力を向上させたのか、という話が詳しく語られています。 彼らが行ったのは、まず詳細なデータを取得して原因がどの辺にあるのかを推測すること。そこから多数の無駄な処理を発見し、ソースコードの修正による性能の向上に成功します。 元記事は非常に長いエントリになっていますが、問題の調査から解決に至るアプローチについて多くのエンジニアの方の参考になりそうな内容が含まれていますし、T
ウノウラボ Unoh Labs: サーバのネットワーク速度の調査/測定方法
こんにちは。kyagi です。先日データセンタ内のサーバ群のうち、なぜか特定の１台だけネットワークの速度が極端に遅いという問題がありました。今回はサーバマシンのネットワーク速度の測定方法と原因についてお話しします。同様のトラブルが発生している方のお役に立てば幸いです。問題解決までの手順としては以下になります。 1. 現在の状態を調べる 2. ハード/ソフト含めて考えられる原因をいくつか挙げる 3. 原因について改善されるまでひとつひとつ検証していく まず現在の NIC の HW 情報とドライバを lspci で調査します。ここでは Broadcom の NetXtreme BCM5722 という NIC を使用していることがわかります。 # lspci -vvv | grep Ether 01:00.0 Ethernet controller: Broadcom Corporation
Firefoxでの動画サイトのイライラを解消する方法 | ライフハッカー・ジャパン
米Lifehacker読者のBernard Sandbergさんによると、YouTubeなどの動画サイトで10秒ごとに動画がフリーズするのは、Firefox2.0以降に搭載されているセッション復元機能が原因だとか。Firefoxのデフォルト値では開いているタブを10秒ごとに保存する設定になっているそうで、多くのタブを一度に開いているとより動画が固まりやすいそうです。 では、これを解消するためにはどうすればよいのでしょう？ 答えはシンプル。セッション復元のための保存のインターバルを長くすること。具体的な方法としては、アドレスバーで「about:config」と入力しEnterキーを押すと、フィルターボックスが表示されますので、さらにフィルターボックスに「browser.sessionstore.interval」と入力しましょう。すると「10000（"10秒に保存する"の意）」が表示されるは
[人柱]教えて君ネットがWinXP超速起動になるって言うからやってみたら本当に高速起動した*ホームページを作る人のネタ帳
超速起動は言いすぎだろコノヤロー と、心の中で思ったが、どれどれやってみようかなぁとｗ コメント見る限りだと、まだ人柱が居なくてちょっと怖かったので、人柱を待ってた。が、なんかこう、みんな牽制しあってるような感じでもう面倒なのでさくっと試してみた。 結果は・・・。 とりあえず高速化に大成功！ Windowsの起動時間をまず測定。 最初は４分５４秒だった。 追記 Windowsが立ち上がり、砂時計が消えるまで。 Googleデスクトップ→dropbox→IPメッセンジャー→AVGが起動するまでの時間。 そして今回の高速化を断行した結果・・・。 起動時間が２分３２秒になった！！！ 多分余計なものが沢山入ってたのが原因なんだけど、なかなかのWindows高速化！ XP自体は既に１年目の選手。 色々と途中改造してるからアレだけど余計なものがとにかく多かったなぁ。 というわけでレッツレポート。 今回
![[人柱]教えて君ネットがWinXP超速起動になるって言うからやってみたら本当に高速起動した*ホームページを作る人のネタ帳](https://cdn-ak-scissors.b.st-hatena.com/image/square/3de7f5be0dd73efe92f9fcdcf112c5e0d03cb894/height=288;version=1;width=512/https%3A%2F%2Fblog-imgs-34.fc2.com%2Fe%2F0%2F1%2Fe0166%2F200908070006.jpg)
ネットが通常の3倍速くなる驚異のローカルプロキシを導入 :教えて君.net
大量のファイルを開いたりダウンロードするときにネットがどうも重いということがある。また海外の画像サイトなどを見ていると反応が悪くページがなかなか表示されない。ローカルプロクシソフト「Polipo」を使ってみよう。 ローカルプロクシというと広告を消すなどの目的をイメージするが、ネットワークの高速化を目的に作られたツールだ。ブラウザのキャッシュと同様に一度見たページのデータをキャッシュして表示を速くするほか、「パイプライン」という仕組みを使って1回の接続で複数のファイルを転送でき、ページの表示速度をアップさせられる。サーバ側で同時接続数が制限されていてもスムーズにファイルを表示できる可能性があるぞ。もともとマックのネットを3倍速くするという触れ込みで注目を集めたツールだが、現在では「Solipo」というウインドウズ用のフロントエンドが登場しておりXPでも手軽に使える。特に国外の激重サーバなどで
Googleに学ぶ、ウェブページのパフォーマンスを最適化する方法
Web Performance Best Practices 下記、ウェブページのパフォーマンスを最適化するポイントをまとめたものです。 キャッシュの最適化 往復遅延時間を減らす HTTPリクエストを減らす ロードサイズを減らす レンダリングの最適化 関連書籍 1. Optimize caching キャッシュの最適化 ブラウザのキャッシュを活用 JavaScriptやCSSファイルや画像などのスタティックなリソースは、HTTPヘッダを使用してキャッシュをロードするようにします。 アドバイス スタティックなリソースは全て、積極的にキャッシュにセットします。 時々更新するリソースのキャッシュには、ファイルパスにフィンガープリントを埋め込みます。 IEでも確実にキャッシュされるように、Varyヘッダは削除します。 URLを自動生成している場合は、Fxのディスクキャッシュで使用している8文字のラ
データベースを用いたセッションデータ管理について - LukeSilvia’s diary
Web アプリケーションとは切っても切れないセッション機構。DB ベースでセッション管理を行なって得られた知見と、それを元に考察した結果をまとめてみます。 セッションデータの特性 DB で管理される他のデータに比べ、セッションデータはかなり特殊です。主な特徴は次のような感じ。 データが増加するのが速い 定期的な削除が必要 頻繁に更新される リクエスト毎に読みに行く必要がある このデータを読めないとアプリケーション全体にアクセスできない アクセス頻度が高いということです。あと、1つ目の特徴からセッションデータについては意識的に管理してやる必要があります。 現在の環境 アプリケーションの領域が少し特殊で、セッションデータがやたらたまります(ユーザ数何百万のサービスとかそういうのではないです)。 RDBMS MySQL 4.0.22 ストレージエンジン InnoDB レコード数 6千万 テータサ
WEBアプリ開発に便利な機能＆負荷テストツール集:phpspot開発日誌
15 Free Functionality And Load Testing Tools For Web Applications WEBアプリ開発に便利な機能＆負荷テストツール集。 プログラム変更後の品質チェックを行える機能テスト・ユニットテスト、負荷に耐えられるか確認するために負荷テストツール、で品質向上に役立てられます。 Selenium等の定番以外にも沢山の機能テストツールや負荷テストツールがあるみたいです。 機能テストツール集 Seleniumのようなブラウザを自動で直接動作させて表示結果を確認するツール うまく運用すれば、機能を変更した際の正常動作確認に神経をすり減らすことがなくなります SeleniumHQ おなじみのテスト自動化ツール テストケース定義で自動でブラウザ上でテストしてくれます Watir Rubyのブラウザ自動化ライブラリだそう。 Windowsだと、IE、F
tips - Webサーバーの負荷テストならまずab : 404 Blog Not Found
2009年05月13日16:45 カテゴリTips tips - Webサーバーの負荷テストならまずab だめじゃん。 WEBアプリ開発に便利な機能＆負荷テストツール集:phpspot開発日誌 abがないじゃん。 abとは何かというと、apacheに標準でついてくる負荷テストツールの名前。apacheが入っている環境であれば、まず間違いなく入っているはず。 引数なしだと、help表示。 ~% abab: wrong number of arguments Usage: ab [options] [http[s]://]hostname[:port]/path Options are: -n requests Number of requests to perform -c concurrency Number of multiple requests to make -t timelimi
XPやVistaを極限まで軽くする！ 19のチューニングテク :教えて君.net
VistaとXPのどちらが主流なのかよく分からなくなってる現状の中、ウインドウズ７の発売が来年に決まり、OSを巡る状況は混迷を極めている。そんな今だからこそ、GWの開いた時間を使ってXPとVistaのチューンアップテク見直してみよう。来年の話は置いておいて、取りあえず今あるOSを使い倒す、カスタマイズの技術を身に着けるのだ！ ■歴代ウインドウズでベンチマーク対決 Vistaが発売されて2年が経過したが評判はパッとせず、世間ではまだXPを使い続けているユーザーが多い。ユーザーの移行が進まず、XPとVistaのユーザーが混在している中で、次のウインドウズ7の発売が来年初頭に決定。現在、ユーザーは3つのウインドウズのうちどれを本命にすべきなのか悩まされるという、混沌とした状況になっている。そこで今回、XP、Vista、ウインドウズ7の性能を正面から比較してみた。ウインドウズ7には先ごろ公開された
やってはいけない!!MySQLに悲鳴をあげさせる10の方法
いつも「MySQLを使うときはこうするべき」という観点から記事を書いているが、今日は逆に犯してはいけない過ちをリストアップしようと思う。 1. 全てのカラムにインデックスをつけるデータベース初心者がもっともやってしまいがちな間違いはコレではないだろうか。インデックスはいい。検索がとても速くなるから。しかし、それと引き替えにインデックスは更新するときにコストがかかるし、その分多くのディスクスペースを消費する。特に更新にかかるコストは時に甚大で、該当するインデックスのページがキャッシュ上にない場合はディスクからいったんそのページを読み込まなければいけない。ディスクアクセスは動作にとても時間がかかるので、インデックスが多数、例えば全てのカラムに付いていたりすると「あれ？固まったか？」というような状態になってしまうことがあるだろう。インデックスは必要なカラムにだけつけるようにテーブルを設計しよう。
Webサイトを“速く”表示させる7つの計測ポイント（1/2） - ＠IT
株式会社ライブドア マークアップエンジニア 浜 俊太朗 2009/3/24 FirefoxやYSlowを使ってWebサイトの問題点を探るには？ ライブドアブログを速くした著者が7つのポイントを伝授します（編集部） Webサイトは“見た目”が重要なのは当たり前だが…… 皆さんはWebサイトを作るときに、どのようなことを意識していますか？ デザイナや主にHTMLのコーダー／マークアップエンジニアと呼ばれる職種に就いている人は、やはり“見た目”を強く意識しているのではないでしょうか。 例えば、複数のWebブラウザで同じか近い表示になるようにとか、リリース後の更新業務によって表示崩れが起きないように、などです。もちろんそれは職種の適性として正しいものですが、実はほかにも意識した方がよい重要な要素があるのです。 良い印象を与えるには、“速度”も重要 Webサイトを見たユーザーが、良い印象を受けるのか
ウェブページの高速化に必要なもの
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは、オークション事業部のさかいです。 ネットサーフィンに慣れている techblog 読者のみなさんの中には、あちこち見て回っているうちに重いページに行き当たり、イライラしながら応答を待ったり、容赦なくバックスペースキーで前のページに戻ったり…という経験をされた方が多くいらっしゃると思います。 そういったストレスのないレスポンスが行えるよう、バックエンドのプログラムの最適化や、サーバーのチューニングを行うのは私たち技術者の仕事のひとつです。 しかし、あるウェブサイトにアクセスして、そのサイトを閲覧できる状態になるまでの時間のうち、そういったバックエンドでの処理に必要な時間は 1〜2 割でしかないというデータがあります。残り
HTTPの通信状況をデバッグしてボトルネックを発見できる「HttpWatch Basic Edition」 - GIGAZINE
Windows XP/Vista/2003/2008 Server上のInternet Explorer 6/7/8 Beta 2、Mozilla Firefox 2.0/3.0/3.1 Beta 2で動作するフリーソフトで、HTTP/HTTPSのリクエストヘッダ表示、HTTPの圧縮率表示、ページ内の各要素の読み込み時間のチャート化、ステータスコードやレスポンスサイズの表示、フィルタリング、さらにはこれら一連の通信をログファイルに記録することなども可能です。 時間はミリセカンド単位で表示が可能となっており、まさにHTTPデバッガと言っても差し支えないレベルなので、「ページの読み込みが遅い原因を知りたい」とか「ちゃんとサーバの設定が反映されているかどうかを確認したい」「ウェブアプリの動作チェックがしたい」という場合に役立ちます。この種類のソフトにありがちな日本語の文字コードが解釈できないとい
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://jp.techcrunch.com/2009/06/05/20090604google-opens-up-internal-speed-tool-to-the-public/
