KOF2009「ウェブサービスのパフォーマンスとスケーラビリティ」 - stanaka's blog
KOF2009にて、「ウェブサービスのパフォーマンスとスケーラビリティ」と題して発表してきました。発表資料を以下に置いておきます。 Performance and Scalability of Web ServiceView more presentations from Shinji Tanaka. 概要は、「ウェブサービスのパフォーマンスを向上させスケーラビリティを高めるために、はてなでは様々な取組みを行っています。本セッションでは、はてなで採用している具体的な技術、ノウハウ、可視化手法と、それらの効果について紹介します。」というものです。 最近の、Interopやカーネル読書会あたりで話した内容をまとめつつ、レスポンスタイムの可視化という最近の取り組みについて話しました。 最近、レスポンスタイムについては、以下のようなグラフを使っています。 x軸がレスポンス時間、y軸がその時間内に収
「YouTubeの帯域利用料はゼロ」：ネットワーク構造の変化で | WIRED VISION
前の記事 出版業界を救うのはApple？：全く新しいコンテンツ体験が可能に 「YouTubeの帯域利用料はゼロ」：ネットワーク構造の変化で 2009年10月19日 Ryan Singel インターネット接続に関する新しい調査報告で、『YouTube』がオンラインに存在するために支払っている金額は、読者が払っている金額より少ないかもしれないことが示唆されている。 たしかに、Google社は現在、YouTubeによってインターネットのトラフィックの少なくとも6％に関与しており、実際の数字ははもっと大きいと推定されている。しかし、同社はそれほどのコンテンツや付随する広告を提供するための料金を、インターネット・サービス・プロバイダー(ISP)にはまったく支払っていない可能性があるというのだ。 この報告は、米Google社の人気ビデオサービスYouTubeは赤字であるというこれまでの分析に異議を唱え
「おもてなし」といった卓越したオペレーションを形式知化しモジュール化する
「おもてなし」といった卓越したオペレーションを形式知化しモジュール化する 委員 持丸 正明（産業技術総合研究所デジタルヒューマン研究センター 副センター長） サービスはITとオペレーションによって構成される このリレー連載では、顧客との共創によってサービスの生産性（価値の増大と提供コストの圧縮）を持続的に向上させていくことが、サービス・イノベーションの1つのモデルとして議論されている。顧客に目を向け、価値を共創するという視点で、日本航空（JAL）の卓越したオペレーションに見られる「おもんばかり（慮り）」や、ウェブサイトに求められる「おもてなし」の重要性が指摘されてきた。まさしく、サービスはこのような「オペレーション」と、それを支えるIT（情報技術）によって構成されている。 ITはコンピュータ上に構築された形式知の固まりであるが、人の「オペレーション」はすべてが形式知化されているわけではない
Oracle VM VirtualBox
News Flash Important February 8th, 2024 We're hiring! Looking for a new challenge? We're hiring a VirtualBox Principal Software Developer (Germany, UK, US, Romania and other locations). New January 16th, 2024 VirtualBox 7.0.14 released! Oracle today released a 7.0 maintenance release which improves stability and fixes regressions. See the Changelog for details. New January 16th, 2024 VirtualBox 6.
memcachedを超える成果も、Interopで若手技術者がクラウドを支える技術を競う
「日本でゼロからクラウドを生み出すムーブメントを作り出したい」（実行委員長 門林雄基氏）---“クラウドを支える技術”の開発力を競う「クラウドコンピューティングコンペティション」が2009年6月11日、Interop 2009の会場で開催された（写真1）。企業や大学・大学院の研究者、そして高校生を含む若手エンジニアが、新しいアイディアと技術力で作り上げたクラウドコンピューティングの基盤ソフトウエアを披露した。 クラウドコンピューティングコンペティションは、奈良先端科学技術大学院大学の門林雄基准教授らの呼びかけで実現したイベント。若手のエンジニアがP2P（ピア・ツー・ピア）技術や分散データ処理技術といったクラウドコンピューティングの基盤技術を開発し、その成果を競う。検証環境として、情報通信研究機構（NICT）が運用するクラスタ環境「StarBED」のコンピュータを最大1000台まで使用可能で
hatena は今すぐSPF宣言しましょう。 - pen2 の日記
どうやら hatena は SPF宣言してないみたい・・・！！ 「え？SPF？なにそれ？何のこと？」ってな方が多いとおもいます。 紫外線から守ってくれる奴ではありません。 SPFとは電子メールの送信ドメイン認証のひとつで、「このドメインからはこのIPアドレスでメール送るよ！」とDNSに書いておく方法です。yahooメールやgmailなどのSPF認証に対応した受信サーバではメールを受信すると、"Envelope From"のドメインでDNS TXTレコードを引きます。ここに送信サーバのIPが列挙してあるので、そことセッションIPを比較すれば、なりすましたメールかどうかを簡単に見分けられると言う技術です。 http://ja.wikipedia.org/wiki/Sender_Policy_Framework これを宣言していないと「なりすましメール」かどうかの判定ができません。今はまだそれほ
ニコニコ大百科のアーキテクチャ - グニャラくんのグニャグニャ備忘録@はてな
Twitter mongrelP: @tasukuchan グニャラくーん、ニコ百の鯖がEeePCという話が持ち上がってますがただの監視用ですよね（しんぱいそうなめでみている） http://twitter.com/mongrelP/status/1524183917 ニコニコ大百科のアーキテクチャについてメモしておきます。 本当は、このネタでRuby Kaigiに申し込もうと思ったけど、すっかり忘れていたのでエントリを起こしておきます。Rubyあんま関係なかったし。 全てのリクエストを受付、セッション情報も保持するEeePC 次世代サーバプラットフォーム EeePC ニコニコ大百科宛ての全てのリクエストは、全てEeePCに送られます。 実物の写真を載せておきます。 EeePCは2台稼動しており、１台はホットスタンバイです。 EeePCは、SSDとUPSを備えた次世代サーバプラットフォーム
FlickrがPHP4からPHP5に移行 – 秋元
Flickr上で先月出された「このグラフの変化は何?」というクイズ 答えは、「PHP5に移行したFlickr.comのサーバのCPU利用率」ということでした。サーバのスクリプトエンジンをPHP5に切り替えた際に、上記のようなＣＰＵ利用率の削減が見られたということです。 このクイズを出したのは、Yahoo/Flickrでキャパシティ・プランニングを担当するジョン・アルスポーさん。先週のWeb2.0 ExpoでFlickrのサーバマシン入れ替えとパフォーマンス改善について話されています。 Web2.0 Expoのスライドで話されているのは、以下のような内容です。 Ｆｌｉｃｋｒのストレージ構成やデータ量 PHP5移行でCPU利用率が15%減ったこと ImageMagickからGraphicsMagickに変更して高速化 ＯｐｅｎＭＰでサムネイル作成を並列化 サーバマシンを良いスペックのものに置き
Hadoopで、かんたん分散処理 (Yahoo! JAPAN Tech Blog)
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは、地域サービス事業部の吉田一星です。 今回は、Hadoopについて、Yahoo! JAPANでの実際の使用例を交えながら書きたいと思います。Hadoopとは、大量のデータを手軽に複数のマシンに分散して処理できるオープンソースのプラットフォームです。 複数のマシンへの分散処理は、プロセス間通信や、障害時への対応などを考えなければならず、プログラマにとって敷居が高いものですが、 Hadoopはそういった面倒くさい分散処理を一手に引き受けてくれます。 1台では処理にかなり時間がかかるような大量のデータも、複数マシンに分散させることで、驚くべきスピードで処理を行うことができます。 例えば、今まで1台でやっていた、あるログ集計処理
【Top10】さらばDLL地獄、純関数型OS「NixOS」 － ＠IT
2位となった記事、「Linuxに勝てなかったPlan 9」は、十分に良い既存技術を、新規の技術で置き換えることは、たとえそれがより洗練されていたとしても難しいということを指摘したものだった。すでに広く普及していて使われているLinuxを置き換えるほどには、Plan 9がもたらすメリットは十分に大きくなかった。 この言及に対して、その名もずばり「Plan9日記」を公開しているoraccha氏から貴重なご指摘をいただいた。該当段落を引用すると、 また、研究OSってそんなもんだよという思いもある。Linuxという下位レイヤを維持するために、日々膨大な人的／知的リソースが投入されているわけだけど、Plan9のような少数精鋭による思考実験も、新しい進化のためには必要だ。その成果が新しい燃料として、実用OS（Linux）に投下されると。 という指摘だ。新しいアイデアを実際に動く実装で試すために研究OS
はてなでの仮想化技術の使い方@AMDセミナー - とあるはてな社員の日記
先週、AMD主催のセミナーで「はてなでの仮想化技術の使い方」という発表をしてきました。 はてなでは、1年半ほど前から仮想化技術に取り込んでおり、現在では300台以上のサーバが仮想化されています。仮想化技術には、様々なメリットがありますが、はてなではサーバリソース利用率の向上と、システムの安定化の二つの利点を重視しています。サーバを仮想化していく際に、どのようなポリシーで一つの物理的なサーバに仮想化ホストを積み重ねているか、とか、実際どれぐらい効率を上げられているか、とか、あとAMDさんのセミナーなので、消費電力的にはOpteronが実測結果からは10〜20%程度効率がいい(負荷時にOpteron 1.82A, Xeon 2.17A)、というあたりの話をしてきました。 How to use Virtualization Technology in HatenaView more presen
はてなブックマーク全文検索機能の裏側
そろそろ落ち着いて来たころ合いなので、はてなブックマーク全文検索機能の裏側について書いてみることにします。 PFI側は、8月ぐらいからバイトに来てもらっているid:nobu-qと、id:kzkの2人がメインになって進めました(参考: 制作スタッフ)。数学的な所は他のメンバーに色々と助言をしてもらいました。 はてな側は主にid:naoyaさんを中心に、こちらの希望や要求を聞いて頂きました。開発期間は大体1〜2か月ぐらいで、9月の上旬に一度id:naoyaさんにオフィスに来て頂いて合宿をしました。その他の開発はSkypeのチャットで連絡を取りながら進めてました。インフラ面ではid:stanakaさん、契約面ではid:jkondoさん、id:kossyさんにお世話になりました。 全文検索エンジンSedue 今回の検索エンジンはSedue(セデュー)という製品をベースにして構築しています。Sedu
KOF 2008 の発表資料 - naoyaのはてなダイアリー
KOF 2008 での発表資料「はてな流大規模データ処理」を以下にアップロードしました。 http://bloghackers.net/~naoya/ppt/081108huge_data.ppt 一部参考文献からの引用 (Introduction to Information Retrieval から Vector space model の図、たつをの ChangeLog から転置インデックスの図) があります。この場を借りて感謝。 環境によってはおそらくフォントの表示がいまいちだと思いますが、ご了承ください。 追記 SlideShare にアップロードしました。 081108huge_data.pptView SlideShare presentation or Upload your own. (tags: linux mysql) 追記: メモリはディスクの 150 倍について
「はてな流大規模データ処理」を見てきた - もぎゃろぐ
KOF2008：関西オープンソース2008というイベントに来ています。 はてなの伊藤さんの講演があったので、講演メモを公開。 ＃ボクがメモした内容であって、100%言ったとおりに書いてあるわけじゃないので、参考としてご覧ください。 (続き) アジェンダ 大規模なデータ OSのキャッシュ MySQLの運用 大規模データアプリケーションの開発 データの例 はてなブックマークのデータ量：五千万件くらいのデータ量 このデータに対して何百万人がアクセスしてくる状況でどういう作りにするか レコード数 1073万エントリー 3134万エントリー 4143万タグ データサイズ エントリー2.5GB 何の工夫もなく普通にアクセスすると...200秒待っても結果が帰ってこない 大規模データの難しいところ 開発サーバで開発者が作っている時は快適に動いていても、多数の人間がアク
アクセス集中でもダウンしません ＮＴＴが新技術 - MSN産経ニュース
■閲覧者に“整理券” 時間差で負担軽減 ＮＴＴグループは、ウェブサイトが混雑してアクセスしづらい時に、サイト表示までの時間や順番などを示す仮想の“整理券”をパソコン上に表示する技術を開発した。この技術をＮＴＴアドバンステクノロジ（東京都新宿区）が９月に発売するネットワーク制御機器「Ｗｅｂアクセスシェイパ２・０」に搭載する。短時間にアクセスが集中しやすい災害情報を提供する自治体などに採用を働きかけ、初年度９億円の売り上げを目指す。 新技術はサイトへのアクセスが集中した際、処理能力に余力があるサーバーにアクセスを分散する。そのうえで全サーバーの処理能力を上回る数のユーザーがサイトを閲覧しようとした場合は、アクセスを制限。サーバーがどれくらいのスピードで閲覧要求を処理しているかを計測し、待機中のユーザーに対して「あなたのリクエストは、２０番目に受け付けられました」「予想待ち時間は４０秒です」など
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
低価格サービスを実現する、さくらインターネットの「自前」戦略 
YAPC::Asia 2日目 「はてなブックマークのシステムについて」 - naoyaのはてなダイアリー
memcache-top - Google Code
CodeByDesign – Software for creative professionals.
「実現したいことを計算機の問題に置き換えることが『技術力』」、伊藤CTOが“はてな流”大規模データ処理の極意を語る：CodeZine
