Facebookが何千台ものMySQLを人手を使わず自律管理する仕組み「MySQL Pool Scanner（MPS）」
おそらく世界でもっとも大規模にMySQLのクラスタを展開し、運用しているのがFacebookでしょう。複数のデータセンターにまたがり何千台ものMySQLサーバを運用するために、自動化の仕組みは欠かせません。 その自動化がどのような仕組みになっているのか。FacebookのデータベースエンジニアであるShlomo Priymak氏が、Under the hood: MySQL Pool Scanner (MPS)という記事をFacebookで公開しています。 かなり長い記事なので、ここではそのポイントをまとめて解説してみました。詳細はぜひ原文をあたってみてください。 MPSのおもな3つの機能 Facebookで稼働しているMySQLは、つねに1つのマスターとそこからレプリケーションされた複数のスレーブによるレプリカセットを構成しています。このレプリカセットの構造を維持し続けることで、可用性と
オバマ大統領の再選を勝ち取ったITチームは、どんなメンバーで構成されていたのか？
2012年のアメリカ大統領選挙は、バラク・オバマ現職大統領の勝利に終わりました。アメリカ大統領選挙とは、いわば米国でもっとも巨大なマーケティングキャンペーンであり、明確な期限があり失敗できないプロジェクトの1つです。 今回のオバマ氏のキャンペーンで話題になったのは、ITの活用とその効果でした。 詳細を報じたTIME誌の記事「Inside the Secret World of the Data Crunchers Who Helped Obama Win」によると、オバマ氏の地元シカゴに置かれた選挙対策本部にある「The Cave」と呼ばれる部屋では、効果的な手を打つために各州の有権者のデータを統合、その嗜好や動向を把握、分析。その結果ジョージ・クルーニー氏の影響力が高いと判断して彼による食事会を設けて資金集めに成功したり、スイングステート呼ばれ、勝敗の鍵を握る激戦州での選挙結果をさまざま
WebIntentsとSocket APIでブラウザから家電が操作できる。HTML5 Conference 2012
WebIntentsとSocket APIでブラウザから家電が操作できる。HTML5 Conference 2012 HTML5のコミュニティ「html5.org」主催のイベント「HTML5 Conference 2012」が9月8日、慶應大学日吉キャンパスで開催されました。ボランティア主催のイベントでありながら、約1000人の来場者と4トラック20セッション以上という規模は、現在のHTML5への大きな注目度を示しているようです。 Publickeyでは、セッションの中からWebの最新動向に関連した「WebIntents」と「WebRTC」に関する記事を2本公開します。 WebIntentsとSocket APIでブラウザから家電が操作できる。HTML5 Conference 2012 WebRTCはブラウザ上でリアルタイムコミュニケーションをするためのフレームワーク。HTML5 Conf
WebRTCはブラウザ上でリアルタイムコミュニケーションをするためのフレームワーク。HTML5 Conference 2012
WebRTCはブラウザ上でリアルタイムコミュニケーションをするためのフレームワーク。HTML5 Conference 2012 HTML5のコミュニティ「html5.org」主催のイベント「HTML5 Conference 2012」が9月8日、慶應大学日吉キャンパスで開催されました。ボランティア主催のイベントでありながら、約1000人の来場者と4トラック20セッション以上という規模は、現在のHTML5への大きな注目度を示しているようです。 Publickeyでは、セッションの中からWebの最新動向に関連した「WebIntents」と「WebRTC」に関する記事を2本公開します。 WebIntentsとSocket APIでブラウザから家電が操作できる。HTML5 Conference 2012 WebRTCはブラウザ上でリアルタイムコミュニケーションをするためのフレームワーク。HTML5
Pinterestの急成長を支えてきたアーキテクチャとは？ Pythonで開発しAmazonクラウドで運用
Pinterestの急成長を支えてきたアーキテクチャとは？ Pythonで開発しAmazonクラウドで運用 急速に人気が急上昇するWebサービスでは、どのようにスケールするアーキテクチャを構築し運用していくのかはサービスの成否を分けるほど重要です。Pinterestのように急成長してきたサービスのソフトウェア構成やリソース構成はどうなっているのでしょうか、Web上でいくつか情報が公開されているのでまとめてみました。 Pythonで開発し、Amazonクラウドで運用 1年ほど前なので少し古い情報ではあるのですが、Q&AサイトのQuoraにPinterestのco-founder Paul Sciarra氏が書き込んだソフトウェア構成の説明があります。 PinterestはPythonで開発されており、MemcachedやNginxなど高速なレスポンスに配慮した構成になっている様子がうかがえま
「Meteor」は、JavaScript/HTMLで開発するリアルタイムWebアプリケーション基盤。何が起きているのかすぐに分からないほどすごい
「Meteor」は、JavaScript/HTMLで開発するリアルタイムWebアプリケーション基盤。何が起きているのかすぐに分からないほどすごい 「Meteor」は、Webアプリケーションを開発するためのフレームワークと実行環境を提供しています。アプリケーションはすべてJavaScript、HTML、CSSで記述できるため、サーバ側でRubyやPerlやJavaなどのプログラミングをする必要はありません。 TechCrunchの記事では、JavaScript/HTML/CSSだけでWebアプリケーションが開発できる点にフォーカスが当たり話題になりましたが、公開されたデモンストレーションのスクリーンキャストを見たところ、Meteorにはそれ以上に新しい仕掛けが盛り込まれていました（スクリーンキャストはこの記事の末尾に埋め込んであります）。 それは「リアルタイムなWebアプリケーションを構築す
インタビュー：OpenFlowによってネットワーク業界に何が起きるか？ （前編）
プログラミングによってネットワークの構成や機能をコントロールする「Software-Defined Network」がネットワーク業界の大きなテーマとなり、それを実現する技術であるOpenFlowに注目が集まっています。 Software-Defined NetworkやOpenFlowによって、ネットワーク業界はどのように変わっていくのでしょうか。 2011年10月にスタンフォード大学で開催されたOpen Networking Summit 2011で、同大学教授でNicira Networks Co-FounderのNick McKeown（ニック・マキューン）氏の講演「How SDN will Shape Networking」（SDNはネットワーキングをどう変えていくか）を記事で紹介しましたが、そのマキューン氏にインタビューする機会を得ました。 マキューン氏は、OpenFlowの標
2011年の1位はjQuery Mobile、2位はITの動向予測。Publickey年間人気記事ランキング
2011年の1位はjQuery Mobile、2位はITの動向予測。Publickey年間人気記事ランキング この記事が2011年のPublickey最後の記事になります。本年もご愛読ありがとうございました。 最後の記事は、2011年1月から12月のページビューを基に、Publickeyで人気があった記事をランキング形式で紹介しましょう。 1位から5位 1位 「jQuery Mobile」の登場で、モバイルアプリケーション開発は大きく変わる 2位 今後5年のあいだにIT業界に大きなインパクトを与えそうな5つの動向 3位 アドビ「iPadでFlashアプリを動かす」デモを公開。マルチプラットフォーム対応をアピール 4位 グーグルはあれほど多くのソフトウェアのテストをどのように行っているのか？ 5位 電子書籍フォーマットの本命、「EPUB」をいまのうちに理解しておく 2011年でもっとも読まれ
ブログでメシが食えるか、Publickeyの2011年
このブログ「Publickey」を始めた最大の理由は、ブログという小さなメディアの可能性を広げていくことであり、小さなメディアの運営が職業として成り立つのかどうかを確かめたい、ということにあります。 そうした実験の経過として毎月ページビューの報告をしてきましたが、今月で3回目の期末を迎えたので、そろそろ売り上げについても報告したいと思います。なぜ3回目の期末でようやく報告できるかといえば、1回目の期末はまだ立ち上げたばかりで何もなく、2回目の期末はクライアント数が少なすぎて、売り上げを報告するとクライアントがいくら支払ったのかが丸わかりになってしまう感じになってしまっていたのです。 僕の周りには、いつかブログの収入で食べて行けたらいいなと思っている人がたくさんいますし、僕の知らないところにもたくさんいるはずです。そういった方に、現実はこんな感じ、という一例を参考までに知っていただければと思
HTML5のCanvasをFlashライクに使う「EaselJS」が最新版を公開
Flashのエンジニアとして著名なGrant Skinner氏が開発している、HTML5のCanvasをFlashライクに使えるようにするJavaScriptライブラリ「EaselJS」の最新版、v0.4が公開されました。 9カ月振りになる最新版では、ビットマップアニメーションやスプライトシートエンジンを全面的に書き換えたとのことです。 completely reengineered sprite sheet engine, which includes a host of new features: multi-image sprite sheets, variable frame dimensions, frame reuse, image preloading, and a new data format. Note that this change will require som
グーグルはコードの品質向上のため「バグ予測アルゴリズム」を採用している
グーグルでは、社内のプログラマによって作り出される大量のコードの品質を保つため、チェックイン前にユニットテストとコードレビューが行われているそうです。しかし、コードが大量になってくると、ユニットテストやレビューをすり抜けるバグも少なからず発生します。 そこでコードの品質をさらに高めるために、グーグルでは「バグ予測アルゴリズム」を採用。バグがありそうな部分をレビュアーにアドバイスする仕組みを採用したとのこと。 そのバグ予測アルゴリズムとはどんなものなのか。Google Engineering Toolsブログに投稿されたエントリ「Bug Prediction at Google」（グーグルにおけるバグ予測）で説明されています。 ソースコードの修正履歴を基に予測 コードの中にバグがありそうな箇所を分析する手法としては、「ソフトウェアメトリクス」がよく用いられます。これはコードを静的に分析して、
タブレット、モバイル中心アプリ、ソーシャル体験、インメモリなど、ガートナーが早くも来年重要となる戦略的技術をリストアップ
タブレット、モバイル中心アプリ、ソーシャル体験、インメモリなど、ガートナーが早くも来年重要となる戦略的技術をリストアップ リストを眺めていると目新しいものはありませんが、IT業界の大きなトレンドを把握するのに参考になる項目が並んでいます。 特に、企業内にタブレットデバイスとアプリストアが進出することで、企業内コンピューティングは大きく変わりそうですし、アプリケーションのユーザーインターフェイスが、現在のウィンドウとマウスポインタからタッチインターフェイスへと移行し、次世代アナリティクスは分析だけでなく予測も含むようになれば、アプリケーション体験も今とは違ったものになりそうです。 そしてその基盤としてのデータウェアハウスは論理的に構築されるものとなり、インメモリコンピューティングが当たり前となる。データソースはデバイスのセンサーなどから大量に送られるようになってくる。ガートナーが並べた要素を
オラクルがNoSQLに本気。エンタープライズ向け「Oracle NoSQL Database 11g」公開。オープンソース版も登場
米オラクルはエンタープライズ向けNoSQLデータベース「Oracle NoSQL Database 11g」の公開を発表。評価版の無償ダウンロードを開始しました。オープンソースライセンスに基づくコミュニティ版も準備中（10月26日現在、ライセンス承認待ち）とのことです。 Oracle NoSQL Databaseは、同社のキーバリューストアであるOracle Berkeley DB Java Editionをベースに、分散処理機能、ロードバランス、管理機能、マルチノードバックアップ機能などを追加したもの。大規模なデータを高速に扱うことができ、高い可用性とスケーラビリティを実現すると説明されています。 分散キーバリューストアで単一障害点を排除 NoSQL Databaseの基本的なアーキテクチャは、プライマリキーのハッシュによって指定されたノードにキー／バリューのペアを書き込む分散キーバリュ
Kindle Fire搭載のブラウザ「Amazon Silk」は、クラウドとデバイスで分散処理を行う革新的なブラウザ
日本時間で昨晩、Amazonが発表したデバイス「Kindle Fire」には、クラウドとデバイスのあいだで分散処理を行う全く新しいWebブラウザ「Amazon Silk」が搭載されています。 Amazon Silkはローカルのデバイス上で動作するWebブラウザの背後に、クラウドであるAmazon EC2で動作するサービスがつねに存在し、両者が連動して高速なWebブラウジングを実現すると説明されています。Amazonはこれを「Split Browser Architecture」と呼んでいます。 これまでWebブラウザの高速化、高機能化の競争は、PCやモバイルデバイスなどで動作するソフトウェアの進化を意味していました。しかしAmazon Silkの登場で、この進化がクラウドを巻き込むものに広がりました。 グーグルやマイクロソフト、モジラ、オペラなどのWebブラウザベンダの戦いに、Amazon
HTML5とjQuery Mobileを使い、わずか1週間でできたモバイル版Publickey
昨日、Publickeyのモバイル対応版「Publickey Smart Edition」を発表しました。Publickeyのモバイル対応はずっと課題だったのですが、jQuery Mobileが登場したとき「これで簡単にモバイル対応ができる」と思い、jQuery Mobileが安定するタイミングを待っていました。 8月に「そろそろ大丈夫だろう」と思って開発を始めたところわずか1週間程度でモバイル対応ができあがってしまい、今週jQuery Mobileのβ3が出てフィーチャーフリーズになったのに合わせて試験運用を開始しました。 Publikceyのモバイル版の開発は、おおむね3つのステップ「モバイル用HTMLの生成」「jQuery Mobileによるタッチインターフェイスの構築」「小さな画面に合わせた画像縮小」から構成されています。ここではその裏側を少し紹介しましょう。 CMSでモバイル用H
国立情報学研究所 佐藤教授が語る「クラウドコンピューティングの将来動向」（クラウドサービス編）
8月31日から2日間、都内で行われたイベント「Cloud Computing World Tokyo 2011」。そのイベントへの申し込み段階で最初に満員となったのが、国立情報学研究所 佐藤一郎教授のセッション「クラウドコンピューティングの将来動向」でした。 技術的な背景に基づき、ビッグデータ活用に必要な条件とは何か、クラウドのビジネスモデルはどうなるのか、データセンターの進化の方向などについて、具体的な解説が行われています。 この記事では、その講演の内容を紹介しましょう。 （本記事は「国立情報学研究所 佐藤教授が語る「クラウドコンピューティングの将来動向」（ビッグデータ編）」の続きです。 クラウドのサービス開発は日本に向いている 2年前、グーグルのエリック・シュミット氏は、インフラを作る時代はそろそろ終わり、これからサービスの時代だ、と言っています。実際にそうだと思いますし、これからはク
2011年8月の人気記事「ITまんが2011年版」「TwitterがJavaVMへ移行する理由」「OpenFlowの本質」
2011年8月の人気記事「ITまんが2011年版」「TwitterがJavaVMへ移行する理由」「OpenFlowの本質」 今年の夏も終わりに近づきましたが、いかがお過ごしでしょうか。先週は海外でVMworld、Dreamforceがあり、国内でもCloud Computing Worldが開催されるなど、この時期、IT業界はイベントが盛んになってきます。Publickeyではできるだけその中から読者の興味をひきそうな話題をお届けしていくつもりです。 先月、2011年8月のPublickey人気記事トップ10の発表です。 まず1位から3位の記事はこちら！ 1位 ITまんが 2011年版 ～ ITが楽しく分かるマンガを集めてみました 2位 Twitterが、Ruby on RailsからJavaVMへ移行する理由 3位 米スタンフォード大学が「機械学習」「データベース」「人工知能」の無料オン
クラウドはSIerのビジネスにどんな影響を与え、SIerはどうするべきなのか？ 情報サービス産業協会がレポートを公開
国内の主要なシステムインテグレータやソフトウェア開発企業で構成する一般社団法人 情報サービス産業協会は、クラウドがシステム開発などの情報サービス事業に与える影響や課題を整理したレポート「クラウドコンピューティングが情報サービス事業者に与える影響とビジネス拡大に向けての提言」（PDF）を、公開しました。 本レポートは、システムインテグレータやソフトウェア開発企業の立場からクラウドによるビジネスの影響を分析し、それに対応したビジネスモデルを提案している点が特徴です。 クラウドの登場などによる「所有から利用へ」の流れは、サーバなどハードウェアの販売や開発案件の減少など、システムインテグレータが依拠してきたビジネスモデルをおびやかそうとしています。その現状分析と今後の対応策をシステムインテグレータ自身がどう考えているのか、このレポートから垣間見ることができます。 新たな4つのビジネスモデルを提言
データセンターを進化させるためにeBayが行っていること
ほぼ同じ処理性能を発揮する3つのクラスタ、2.9GHzのCPUを積んだサーバ2000台と、1.6GHzのサーバ3663台、3.46GHzのサーバ1694台。どれが最もトータルコストが安いのか？ eBayのDean Nelson氏は、こうした緻密な試算を積み重ねてデータセンターの構成を決定していることを、スイスで開催された「2011 European Data Centre Summit」のセッションで解説しています。 最新のデータセンターはどのような設計思想の上に成り立っているのか。公開されているセッションのビデオから紹介します。 What have we learnd in our Data Centers eBayのDean Nelson氏。 まずはeBayの基本的なデータを紹介しよう。eBayは1日に2ビリオンページビューのWebサイトで、23ミリオン行のソースコード、1日に75ビリ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
