Google社の基盤技術「MapReduce」についてエンジニアに聞く
Google社の基盤技術「MapReduce」についてエンジニアに聞く 米Google Inc. Christophe Bisciglia氏 米Google Inc.で大規模並列プログラミングの教育コース「Academic Cluster Computing Initiative（ACCI）」の立案者であるSenior Software EngineerのChristophe Bisciglia氏に，インタビューする機会を得た。Bisciglia氏は現在，中国・上海でサービスの開発に携わっている。 ――Googleのサービスを支える技術として，ACCIで教えているのは何か。 Christophe Bisciglia氏 並列処理のプログラミング/モデルである「MapReduce」と分散ファイル・システムである「GFS（Google File System）」だ。これらを実装した「Hadoop
ソフトバンクモバイルのMNP障害、顧客の転出処理が滞り性能不足に陥る
「想定していたより、多くの顧客が殺到した。受け入れる準備が不足していた点は、大変反省している」。ソフトバンクモバイルの孫正義社長（写真）は10月30日、同月28日と29日に発生していた、携帯電話番号ポータビリティ（MNP）に関する申し込みなどの受付業務を停止したことについて、謝罪すると同時に、原因と今後の対策について発表した。主な原因は、顧客が他社サービスに乗り換える際、その解約処理に遅延が発生し、システム負荷が高まったこと。既にシステムの増強や構成変更をしたが、今後も「人員増強やシステム増強で解決できるものについては、すべて対処する」（孫社長）とした。 システムの負荷が最初に高まった原因は、「複雑な“家族割”の解約処理だった」（阿多親市 情報システム・CS統括本部長（CISO）兼カスタマーサービス本部長）。顧客が携帯電話会社を変更する際は、変更先の会社が変更元の会社に顧客の転出処理を依頼
[ThinkIT] 第2回：はてなフレームワークとPerlとシステム負荷 (1/2)
このぐらいの規模のWebアプリケーションを作る場合、スクラッチからコードを書いていたのでは効率が悪いですし、また複数のプログラマで開発を進めるにあたってコードの品質を一定に保つのが難しくなってきます。ということで、ここはフレームワークの出番です。 PerlにはCatalystやSledge、CGI::Applicationといったオープンソースの優れたフレームワークがいろいろとありますが、はてなでは自社開発の「はてなフレームワーク」を利用しています。 はてなフレームワークを開発した当時の2001年頃はLL向けの良いフレームワークがあまり無かったため、自分たちで作りました。その後も改良を続け現在も同フレームワークを利用し続けています。 最近ではPerlに限らず、優れたフレームワークの実装が世の中に多数あり、その多くがフリーです。あまり自社開発のフレームワークを利用することの利点は多くないかも
[ThinkIT] 第1回：Inside Hatena Bookmark (2/2)
ハードウェアは、はてなブックマークに限らずはてなのサービスでは基本的にすべて自作のPCサーバーを利用しています。はてなブックマークで利用している17 台もすべて自作のPC サーバーで、基本的なスペックは、次のようにごく普通なものです。 秋葉原のパーツショップからパーツを取り寄せ、自社で組み立ててサーバールームに設置しています。 通常のWebサイトの運用では、あまりハードウェアを自作したりといった話は聞きません。わざわざハードを自作するからにはそれなりのメリットがなければなりませんね。ハードウェアの自作に関してはてなが重要視しているポイントは、次の点です。 インターネットで不特定多数に対して公開されているシステムの難しさの一つに、負荷の見積もりがあります。ある程度人気のあるインターネットサービスではトラフィックは一定に落ち着くことはなく、アクティブなサービスであればあるほどそれは日々上昇し続
はてなブックマークの裏側その後 - naoyaのはてなダイアリー
まるごとPerl! Vol.1 で執筆させていただいたはてなブックマークのシステムに関する記事が ThinkIT で読めるようになりました。記事全体を何回かにわけて掲載していただいています。まるごとPerlの記事なのですが、実は Perl のことはあまり触れていなくてはてなのサーバー運用概論みたいは話が主なところです。 http://www.thinkit.co.jp/free/article/0610/1/1/ http://www.thinkit.co.jp/free/article/0610/1/2/ せっかくなので現状報告も含めて少し補足をしてみようかなと思います。 現在の数字 記事の中での数字は6月のもので ユーザー：45,000人 ブックマーク数：535万件 ページビュー：5,000万/月 サーバー：17台 となってますが、現在 10 月の方はというと ユーザー: 60,000
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
