Facebookが大規模スケーラビリティへの挑戦で学んだこと（前編）～800億枚の写真データとPHPのスケーラビリティ問題
Facebookが大規模スケーラビリティへの挑戦で学んだこと（前編）～800億枚の写真データとPHPのスケーラビリティ問題 全世界で3億人を超える会員を抱え、世界最大のSNSとなったFacebook。同社の巨大なシステムは、3つのデータセンターにある約3万台のサーバと、PHP、C++、Memcache、MySQLなどのソフトウェア群によって支えられています（同社のデータセンターの巨大さは、記事「3億のユーザーを抱えるFacebookのデータセンター。移動は自転車、希望は100Gbイーサネット 」を参照）。 同社の技術担当バイスプレジデント Jeff Rothschild氏は、Facebookが実現している大規模なスケーラビリティを、いかにしてこれらのソフトウェアで実現しているのか、10月8日に米カリフォルニア大学サンディエゴ校で行ったセミナー「High Performance at Mas
クックパッドとHadoop - クックパッド開発者ブログ
はじめまして。今年の5月に入社した勝間@さがすチームです。 入社してからは、なかなか大変なことも多いですが、最近はお酒好きが集まって月曜から飲み合う 「勝間会」なるものも発足して、仕事面でも仕事以外の面でも密度の高い毎日を過ごしています！ さて、僕は「さがす」チーム所属ということで、普段はレシピを「さがす」ユーザの満足度を上げるために、 クックパッドの検索まわりについて、いろいろな開発を行っています。 一方で、ユーザの「さがす欲求」について深く知るために、大規模なデータ解析を行い、欲求の分析を行う機会も増えてきました。 ところが、クックパッドのログは膨大な数があるので、一口のデータ解析と言っても通常のバッチ処理だと間に合わないため、 分散処理環境の必要性が高まってきました。 そこで、まずは手軽に試せる分散処理の王道ということで、最近ではHadoopを使ったデータ解析環境を整備しています。
30分でできる！Webサイトを高速化する6大原則 (1/4)
Webサイトを制作するとき、「パフォーマンス」を気にしたことがあるだろうか？ もしまったく気にしたことがないなら、気をつけた方がいい。閲覧に時間のかかる“遅いWebサイト”はユーザーにフラストレーションを与え、閲覧をやめさせてしまう恐れがある。 下記のグラフは、「Simple-Talk」という海外のオンラインメディアで発表されたユーザー調査の結果だ。アンケートページの表示にかかる時間を意図的にコントロールし、表示時間によってユーザーが感じるフラストレーションの違いを調べたものだ。 縦軸がフラストレーション（10段階）、横軸が表示までの時間を表している。1～5秒以内にページが表示された人に比べ、ページ表示までに5秒以上かかった人は2倍以上もフラストレーションを感じている。フラストレーションがあまりに高ければ、せっかく何らかの目的を持って訪れてきたユーザーも待ち切れずにブラウザーを閉じてしまう
ブラウザを選ばずWebテストを自動化するSelenium
Webアプリケーションのファンクションテストを行うツールとして注目されている「Selenium」のバージョン1.0が6月20日にリリースされました。安定性が向上するとともに、Firefox 3.0、3.5（Selenium IDEは1.0.2から、Firefox 3.5に対応）や、Internat Explorer（以下、IE） 8などの最新のWebブラウザにも対応しました。 本稿では、Selenium 1.0をベースとしたSelenium IDEとSelenium RCを利用した効果的なSeleniumの利用方法を紹介します。 Webアプリのテストで誰もがイラつく大きな課題 Webアプリケーションテストを手で行うと、非常に煩雑です。Selenium登場以前の従来のやり方では、次のような問題がありました。 回帰テストに時間がかかる バグ修正や仕様変更などで、Webアプリケーションを変更した
WEB開発者は必携かもしれないHTTPパラメータ解析用Firefoxアドオン「UrlParams」:phpspot開発日誌
WEB開発者は必携かもしれないHTTPパラメータ解析用Firefoxアドオン「UrlParams」 2009年08月17日- UrlParams :: Firefox Add-ons WEB開発者は必携かもしれないHTTPパラメータ解析用Firefoxアドオン「UrlParams」。 もうご存知の方も多いかもしれませんが、知らなかったのでご紹介。 Yahoo! などの検索エンジンにアクセスすると、「http://search.yahoo.co.jp/search?p=test&ei=UTF-8&fr=moz2」のように色々と引数がつきますが、これを分かりやすく解析してくれます。 さらに解析するだけでなく、独自パラメータを定義して送信するといったことも可能です。 上記GETによるアクセスで、以下のようにパラメータを分かりやすく表示してくれます。 POSTの場合は別のペインにパラメータが表示さ
「マネタイズ」は収益化のことなのに、"hacks"と言うのはおかしい - やまもといちろうBLOG（ブログ）
題名から難癖を付けてみたけど、どこの会社も本音はやはり言わないようで。うちの社員もtsudaっておりました。 ネットサービスにお金を払ってもらうには mixiやpixiv、はてなの“手の内” http://www.itmedia.co.jp/news/articles/0906/25/news052.html pixivが指南する、Amazonアフィリエイトの稼ぎ方 http://news.livedoor.com/article/detail/4219560/ 【募集締め切りました】第三回マネタイズHacks 参加者募集のお知らせ テーマは「ユーザー課金」 http://blog.livedoor.jp/ld_directors/archives/51206033.html どことは言わないけど、ネットでの広告料金を率先してダンピングしてきた会社が偉そうなことを言ってるんだな。問題は、広
hatena は今すぐSPF宣言しましょう。 - pen2 の日記
どうやら hatena は SPF宣言してないみたい・・・！！ 「え？SPF？なにそれ？何のこと？」ってな方が多いとおもいます。 紫外線から守ってくれる奴ではありません。 SPFとは電子メールの送信ドメイン認証のひとつで、「このドメインからはこのIPアドレスでメール送るよ！」とDNSに書いておく方法です。yahooメールやgmailなどのSPF認証に対応した受信サーバではメールを受信すると、"Envelope From"のドメインでDNS TXTレコードを引きます。ここに送信サーバのIPが列挙してあるので、そことセッションIPを比較すれば、なりすましたメールかどうかを簡単に見分けられると言う技術です。 http://ja.wikipedia.org/wiki/Sender_Policy_Framework これを宣言していないと「なりすましメール」かどうかの判定ができません。今はまだそれほ
はてなブックマークのやりすぎちゃったかもしれないSEO - ぼくはまちちゃん！
はい！こんにちはこんにちは！！ もうすぐ梅雨ですね！ 2009年も半ばって感じです…！ 2009年といえば…、 そう！ マネタイズですね！！ はてなのマネタイズ！！ マネーだいじ…！ だってお金がなくなっちゃうと、みんなの大好きなはてなもなくなっちゃうもんね…。 そうそう、ところで！ ぼくさっきGoogleで検索していて、ちょっとしたことに気がついちゃったんですが！ 今日はちょっとそれを、ここにメモしておきますね！ ↓ほらこれ、 site:b.hatena.ne.jp エゴサーチしよう - Google 検索 はてなが URLの末尾にタイトルの文字列を含めてる。 あれれ…、前からこうだったっけ…！ URLにキーワード文字列を含めてやるのって今のところものすごく強力なSEOのひとつで、 Amazonとかもその手法をつかっているからか、 本のタイトルなんかで検索すると、よくAmazonが一番上
Googleに学ぶ、ウェブページのパフォーマンスを最適化する方法
Web Performance Best Practices 下記、ウェブページのパフォーマンスを最適化するポイントをまとめたものです。 キャッシュの最適化 往復遅延時間を減らす HTTPリクエストを減らす ロードサイズを減らす レンダリングの最適化 関連書籍 1. Optimize caching キャッシュの最適化 ブラウザのキャッシュを活用 JavaScriptやCSSファイルや画像などのスタティックなリソースは、HTTPヘッダを使用してキャッシュをロードするようにします。 アドバイス スタティックなリソースは全て、積極的にキャッシュにセットします。 時々更新するリソースのキャッシュには、ファイルパスにフィンガープリントを埋め込みます。 IEでも確実にキャッシュされるように、Varyヘッダは削除します。 URLを自動生成している場合は、Fxのディスクキャッシュで使用している8文字のラ
クックパッドというサービスを男性エンジニアはどのように解釈すれば良いか - FutureInsight.info
友人のクックパッドエンジニアnegipoくんから以下の本をもらいました。読んでみて非常におもしろかったので、いろいろ考えたことを書いておきます。600万人の女性に支持されるクックパッドというビジネス (角川SSC新書)上阪 徹 おすすめ平均 さて、困りました Amazonで詳しく見る by G-Toolsあまり実感がわからない携帯サービスを抜きにして今日本で勢いのあるサービスの代表と言えば以下の2社だと思います。 イラスト コミュニケーションサービス[pixiv(ピクシブ)] レシピ検索No.1／料理レシピ載せるなら クックパッド 個人的にこの2つが素晴らしいサービスだなと思っているのは、今まで評価されることの難しかったイラスト、レシピという人間のアイディアや知恵が非常に詰まっている創作物に多数の人々から評価される快適なコミュニティを作ることができた点です。Pixivは、日頃から接点のある
いま起きているWeb標準の進化、HTML5、CSS3、JavaScript 2.0
日本が大型連休に入る少し前の4月23日、W3CはHTML5の新しいドラフトを公開しました。いつも最新のWeb標準化動向を伝えてくれるWeb標準ブログのエントリ「Last Callに向け進むHTML5 | Web標準Blog | ミツエーリンクス」によると、今回のドラフトから仕様書に大きく手が加わり、Webサイトを作る人向け（制作者に関係する要件）と、Webブラウザを作る人向け（実装要件についての要件）ごとに見やすくなるようなスタイルシートが用意されたとのこと。 これまでも何度かこのブログでは、HTML5やJavaScript 2.0などのWeb標準の動向を書いてきましたが、今回は分かりやすいようにその動きをまとめてみました。 HTMLはHTML4でいったん進化が終了し、それ以後はXHTMLで進化していくことになっていました。しかし実際にはXHTMLは期待されたほど普及せず、XHTMLによっ
Geekなぺーじ : みんなが知らずに使ってるAkamai
Akamaiさんでのセミナーに参加してきました。 個人的にはAkamaiさんと言えば「あまり一般的には知られていないけど使っていない人はほぼいない」企業というイメージがあります。 あまりに内容が楽しかったので、セミナーで色々質問しまくって聞いてしまいました。 想像以上に色々凄いと思いました。 ブロガーのyasuyukiさんが企画し、Akamaiさんにお願いして実現したプライベートセミナーでした。 元々はyasuyukiさんがAkamaiさんのセミナーを聞いて「面白い」とtwitter上で囁きまくっていて、その後「プライベートなセミナーやったら来ますか？」とのオファーを頂きました。 昔からAkamaiさんのCDN技術には非常に興味があったので「是非お願いします」とお願いしました。 セミナー参加者募集はyasuyukiさんのブログとtwitter上で行われ、16人の参加者がいました(アカマイさ
ひろゆきが語るニコニ広告の狙い...一方その頃Pixivは - 敷居の部屋
初音ミクやアイマス“以外”を目立たせたい――ニコニ広告の狙い、ひろゆき氏に聞く (1/2) - ITmedia News ひろゆきがニコニ広告について語っています。色々と見所の多い面白い記事。 ゲーム実況は？ 「“御三家”以外の動画を目立たせたくて」と、ニワンゴ取締役の西村博之（ひろゆき）氏は狙いを語る。御三家とは、「THE IDOLM＠STER」「東方Project」と、初音ミクなどの「VOCALOID」。 初音ミクやアイマス“以外”を目立たせたい――ニコニ広告の狙い、ひろゆき氏に聞く (1/2) - ITmedia News ふむ、ここで『ゲーム実況』が入ってこないのはなぜだろ？ 『アニメ本編』に変わるニコニコのメインコンテンツと呼べるほどの規模になってるイメージでしたが、実際はそれほどでもない？ 「御三家以外を目立たせたい」……実際には？ ニコニ広告を使えば、これまで御三家の影に隠れ
ウェブはあまり使わない。 - “Kept you waiting, huh?”
雑記 | 11:04 | 知人の話。少しマイペースでとろめの知人、TNさん（女性）が僕に聞いてきた。何でもMP3をそのままCD-Rに焼いてCDデッキで再生しても音が出ないのだという。まあそりゃそうだ、デッキがMP3対応じゃなきゃ音なんて出るわけないんだけど、彼女はそれを知らなかった。その時は運転していて説明するのが面倒だったので「MP3だとPCとかiPodみたいなプレイヤーでないと聞けないですよ」と答えたのだが、それに対して「え。じゃあみんなどうしてんの。普通に売られてるCDからは音が出てるじゃん。あれはMP3なんでしょ？」と聞いてきた。市販のCDデータはMP3ではないので、MP3ではなくてWAVEデータという本来異なる形式のものだから、MP3を普通に聞きたいのならMP3からWAVEに変換してCD-Rに入れれば聞けるはずです、と答えた。え、なんか面倒、どうすればいいの？と聞く彼女に、適当な
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
「Google Docs Viewer」で、PDFなどブログへ埋め込み表示可能に 
YAPC::Asia 2日目 「はてなブックマークのシステムについて」 - naoyaのはてなダイアリー
Webストレージを仮想ドライブとしてマウントできる「Gladinet Cloud Desktop」NOT SUPPORTED
http://gerenuk.crazyphoto.org/2009/06/30/1021/
http://www.designwalker.com/2009/06/google-analyitcs.html
帰ってきたカネゴンの78ちゃんねるまとめブログ