Facebookは、数ペタバイト級の大規模データに対しても、対話的にアドホックな問い合わせを可能にする分散SQLエンジン「Presto」を、オープンソースで公開しました。 PrestoはFacebook社内で大規模データの分析のために開発され、すでに同社社内使われているもの。 FacebookはPrestoを開発した背景として、大量のデータをHadoop/HDFSベースで保存したものの、バッチ指向のMapReduceではなく、リアルタイム性に優れた処理が必要になったためだと、次のように説明しています。 Facebook’s warehouse data is stored in a few large Hadoop/HDFS-based clusters. Hadoop MapReduce [2] and Hive are designed for large-scale, reliabl

専門性の高い内容のブログを書くことが職業として成り立つのか？ Publickeyは今年もそのことに挑戦し続けてきました。 個人がオンラインメディアを運用するうえでもっとも手軽に売上げを上げる手段はAdSenseやアフィリエイト広告を利用することです。しかし専門性の高いオンラインメディアは必然的に読者数が絞られることになり、クリック数に売上げが連動するAdSenseやアフィリエイトでは十分な売上げは得られません。 そこでPublickeyではAdSenseやアフィリエイトに依存せず、広告を直接販売する方法に取り組んできました。今年、その売上げはどうだったのか、年末に恒例となったこの記事で報告しましょう。 いつかメディアを運営してみたい、あるいは文章を書くことを職業としてみたいという方々の参考になればと思います。 2013年のPublickeyの売上げ まずはページビューの振り返りから。もとも

HadoopのSQL対応分散クエリエンジン「Cloudera Impala」。Clouderaがオープンソースで公開 Hadoopのディストリビューションベンダとして知られるClouderaは10月25日、SQLに対応し、データの分析速度はMapReduceよりも何倍も高速だという新しい分散クエリエンジン「Cloudera Impala」（製品名「Cloudera Enterprise RTQ」）をオープンソースで公開しました。 これまでHadoopでは内部でMapReduceと呼ばれる処理が用いられていましたが、ImpalaではMapReduceを使わず、Clouderaが2年かけて開発した独自の分散クエリエンジンを用いて処理を行います。Hiveの上位互換のSQLが利用でき、Hive/MapReduceで数分かかっていた応答時間を数秒に短縮すると説明されています。 グーグルのDremel

「JSON」（ジェイソン）は、軽量のデータ記述フォーマットとして、さまざまなソフトウェア間でのデータ交換で広く使われています。 もともとJSONはJavaScriptのオブジェクト表記法をベースにDouglas Crockford氏が2001年頃に“発見”し（Crockford氏自身が「JSONはそれ以前から存在しており、私は発見しただけだ」と主張している）、命名。2002年にCrockford氏が作成したWebサイトjson.orgで仕様が公開されました。 当時はデータ交換フォーマットとしてXMLが主流になると見られていましたが、軽量で記述や解析が容易なJSONは現在、XML以上に広く使われるデータフォーマットになっています。 そのJSONが、JavaScriptの標準化団体でもあるECMA Internationalで標準化され、仕様文書が「ECMA-404」として公開されたと、Dou

2013年秋のIT系イベント。Cloud Show Japan、ソフトウェア品質シンポジウム、XP祭り、YAPC、DevOpsDayなど盛りだくさん IT業界の秋はイベントの季節。各地でコミュティやベンダ、イベント会社などが展示会や年次総会などさまざまなイベントを開催します。ここでは主なイベントの情報をまとめてみました。 新たな情報の収集や学習の機会、あるいは人脈の拡大の機会として、いまから気になるイベントに参加する予定を立ててはいかがでしょうか？ Publickeyもさまざまなイベントを取材する予定です。ぜひ会場でお会いしましょう！（それぞれのイベントの正確な情報は、主催者のWebページでご確認ください。また、現時点で発表されていないイベントなどもこれから順次発表されていくと思いますので、ここに載っているのがすべてのイベントではありません） FIT2013（第12回情報科学技術フォーラム

専用インスタンスはおもに企業などにおいて、ガバナンス上の理由で物理サーバをほかのユーザーと共有して使うことを認めていない場合に、これを保証するために利用します。物理サーバの占有は保証されますが、利用できるのはあくまでも指定したインスタンスサイズの範囲内となります。 専用インスタンスを使う場合、そのインスタンスを立ち上げるリージョンごとに「リージョン専用」料金と、専用インスタンスごとの料金が発生します。 今回の値下げでは、リージョン専用料金が1時間あたり10ドルから2ドルへと大幅に下げられ、またインスタンスごとの料金では、専用オンデマンドインスタンスが最大37％下げられています。 既存のユーザーはそのまま新価格が適用されるとのことです。 さくらインターネットがレンタルサーバのストレージを3倍増

このところ海外（おもに米国）のスタートアップで、「full stack engineer」の求人広告を以前より多く見かけるようになりました。フルスタックエンジニア、つまりインフラからミドルウェア、モバイル、デザインまで、あるいは設計からプログラミング、デプロイまで、何でもこなせるエンジニアを募集している、ということのようです。 例えば、このPublickeyでも導入しているコメントシステムの開発元であるDisqusは現在、「Full-stack Web Engineer」を募集しています。 「What We're Looking For」の項目では、5年以上のエンジニア経験とチームリーダーの経験などを求めた上で、技術的には次のような要件を並べています。 Very experienced with web application deployment and software design

先週末に行われたクラウド関連の勉強会の飲み会で、たまたま僕の隣席になった某クラウドベンダーのK部長。業務拡大のために自分の部署の人材募集もしなくては、という話をされていました。 クラウド業界は人材不足の会社が多いようだ K部長に限らず、クラウド関連の勉強会では発表者の方がスライドの最後で「一緒に働いてくれる人を募集中です、興味があったらぜひ連絡を！」と人材募集の告知をされているのをよく拝見します。クラウド関連分野はいま明らかに成長分野で、特にスタートアップから中堅規模の企業が事業拡大のため、積極的に人材を求めているようです。 ただ、そういう企業は人事部がなかったり担当者も人材募集の経験がなかったりと、手探りで人材募集を進めているところも少なくありません。K部長もどんな方法がいいのか模索中の様子でした。 僕は人材系ビジネスの実情にそれほど詳しいわけではないのですが、自分の知っている範囲で「こ

2012年のアメリカ大統領選挙は、バラク・オバマ現職大統領の勝利に終わりました。アメリカ大統領選挙とは、いわば米国でもっとも巨大なマーケティングキャンペーンであり、明確な期限があり失敗できないプロジェクトの1つです。 今回のオバマ氏のキャンペーンで話題になったのは、ITの活用とその効果でした。 詳細を報じたTIME誌の記事「Inside the Secret World of the Data Crunchers Who Helped Obama Win」によると、オバマ氏の地元シカゴに置かれた選挙対策本部にある「The Cave」と呼ばれる部屋では、効果的な手を打つために各州の有権者のデータを統合、その嗜好や動向を把握、分析。その結果ジョージ・クルーニー氏の影響力が高いと判断して彼による食事会を設けて資金集めに成功したり、スイングステート呼ばれ、勝敗の鍵を握る激戦州での選挙結果をさまざま

日本でも選挙活動にインターネットを利用するという議論が始まっていますが、世界でもっとも大規模にインターネットを利用して選挙活動が行われたのが、昨年の米大統領選挙です。 その選挙戦を勝ち抜いたオバマ大統領のチーム「Obama for America」が、どのような選挙キャンペーンシステムを構築したのか。3月15日に都内で行われたAmazonクラウドのイベント「JAWS DAYS 2013」で、語られました。 （本記事は「「Obama For America」の開発チームが作り上げた大規模な選挙キャンペーンシステムの舞台裏（前編）」の続きです） アプリケーション開発を優先した開発環境に Amazon Web Services、Solution Architect ManagerのMiles Ward氏。 チームはボランティアのデベロッパーで構成されています。私たちがもしも会社であり、社内でRu

日本でも選挙活動にインターネットを利用するという議論が始まっていますが、世界でもっとも大規模にインターネットを利用して選挙活動が行われたのが、昨年の米大統領選挙です。 その選挙戦を勝ち抜いたオバマ大統領のチーム「Obama for America」が、どのような選挙キャンペーンシステムを構築したのか。3月15日に都内で行われたAmazonクラウドのイベント「JAWS DAYS 2013」で、語られました。 そこでは、過去の選挙データやソーシャルメディアなどを元に有権者の動向を徹底的に分析し、テレビCMの打ち方からボランティアの働き方まであらゆるものを最適化する大規模なシステムをいかに構築したのか。そして、大規模システムでクラウドを活用するとはどういうことか、ということを学ぶ絶好のサンプルになっています。 国内でこのシステムの舞台裏がこれほど詳しく紹介されることは初めてのはずです。講演の内容

アジャイル関連製品を提供している米VersionOneが毎年行っている、アジャイル開発に関するアンケート結果が今年も公開されました。定期的に行われているアジャイル関連のアンケートとしてもはもっとも大規模なものです。 アンケートは2012年8月から11月まで行われ、4048人が回答。回答者の60％が北米、27％が欧州から。回答者の61％がすでにアジャイルを実践しており、19％はアジャイルコーチやコンサルタントなど指導的な立場で、20％がそれ以外となっています。 アンケート結果の中から、ポイントだけを引用しました。 もっとも多く使われているのはScrum まず社内でアジャイル開発が行われているかどうかについて。84％が社内でアジャイルを経験しており、16％は経験していないと返答。

MySQL 5.6正式版が公開。オプティマイザやInnoDBの向上でさらに高速。クラッシュセーフなレプリケーションなど 米オラクルは、MySQL 5.6の正式版が公開されたことを発表しました。MySQLはオープンソースのデータベースで、無料で利用可能なMySQL Community Server 5.6.10も公開されています。 MySQL 5.6のおもな新機能はプレスリリースやドキュメント「What's New in MySQL 5.6」で紹介されています。本記事ではこれらと、オープンソースカンファレンス 2012 Tokyoで公開された日本オラクル 山崎由章氏の資料「圧倒的な進化を続けるMySQLの最新機能」（PDF）の一部を引用しつつ主な機能を紹介します。 オプティマイザ、InnoDB、レプリケーション MySQL 5.6では、SQLを解析して実行するオプティマイザの改善と、データベ

Spring Framework 4.0は9月登場予定のJava 8対応。Spring Sourceが方針を発表 主要なJavaフレームワークの1つであり、Pojo（Plan Old Java Object）やDI（Dependency Injection）といった技術が注目されるきっかけの1つでもあったSpring Frameworkの次バージョン「Spring Framework 4.0」は、今年9月にリリース予定のJava 8対応になることなどを、開発元のSpring Sourceが明らかにしました。 Spring Framework 4.0のおもな特徴は、以下のようになるとのことです（日本語訳したらかえって分かりにくくなってしまったので、原文のまま引用します）。 First-class support for Java SE 8 based Spring applications:

「（クラウドの）cybozu.comを導入したお客様のうち、パッケージからの移行が約3分の1、他社からの移行が3分の1で、残りの3分の1はグループウェアを使ったことがなかったお客様。明らかにクラウドは市場のすそ野を広げている」。 サイボウズ代表取締役社長 青野慶久氏は、26日に都内のホテルで開催したイベント「Cybozu.comカンファレンス2」の記者発表会場でこう発言し、クラウドが市場を広げているとの認識を示しました。 「クラウド版を見てみると、5ユーザーとか7ユーザーといったお客様がたくさん含まれている。グループウェアを使うのは10ユーザー20ユーザーくらいからだと思っていたが、そうではないとクラウドが教えてくれた」。青野氏はこうした小規模ユーザーが増えた理由として「クラウドでは運用をまかせられるからではないか」と分析しています。 イベントには「元気があればチャレンジできる！」アントニ

自動改札機の運賃計算プログラムはいかにデバッグされているのか？ 10の40乗という運賃パターンのテスト方法を開発者が解説（後編） 9月12日から14日のあいだ、東洋大学 白山キャンパスで開催された日本科学技術連盟主催の「ソフトウェア品質シンポジウム 2012」。オムロンソーシアルソリューションズ 幡山五郎氏の講演「自動改札機ソフトウェアの品質向上の取り組み　厳密な仕様、もらさないテストを目指して」。この記事では、そのダイジェストを紹介しています。 本記事は、前編、中編、後編の3部構成です。お読みのページは後編です。 大規模なテストをどうやって実行しているか 続いて、大規模なテストについて。 1000万件のテストパターンを作っても、それぞれのテスト結果の正解を人手で作っていたら追いつきません。なので、別々に運賃計算ソフトウェアを作って、その答えを突き合わせてチェックしよう、という話です。 例

自動改札機の運賃計算プログラムはいかにデバッグされているのか？ 10の40乗という運賃パターンのテスト方法を開発者が解説（中編） 9月12日から14日のあいだ、東洋大学 白山キャンパスで開催された日本科学技術連盟主催の「ソフトウェア品質シンポジウム 2012」。オムロンソーシアルソリューションズ 幡山五郎氏の講演「自動改札機ソフトウェアの品質向上の取り組み　厳密な仕様、もらさないテストを目指して」。この記事では、そのダイジェストを紹介しています。 本記事は、前編、中編、後編の3部構成です。いまお読みのページは中編です。 自動改札機の制御は1000件くらいのテスト さて、次は間違えない自動改札機の話です。ここからソフトウェアの話になります。 1つは運賃計算。この切符はこの駅で降りられるのか、というもの。そしてもう1つは自動改札の制御。ランプを光らせるとか、切符を回収するとかです。 まずはその

自動改札機の運賃計算プログラムはいかにデバッグされているのか？ 10の40乗という運賃パターンのテスト方法を開発者が解説（前編） ふだん何気なく使っている鉄道。改札を降りるときにICカードを自動改札にかざすと、「ピッ」という音と共に一瞬のうちに運賃を計算してくれます。けれど、複数の路線を乗り継いだり、途中で定期券区間が挟まっていたりと、想像しただけでもそこには膨大な組み合わせがあります。それでも運賃計算プログラムはわずか一瞬で正しい運賃計算が求められ、バグがあったら社会的な一大事にもつながりかねません。 爆発的な計算結果の組み合わせがあるはずの運賃計算プログラムは、どうやってデバッグされ、品質を維持しているのでしょうか？ 9月12日から14日のあいだ、東洋大学 白山キャンパスで開催された日本科学技術連盟主催の「ソフトウェア品質シンポジウム 2012」。オムロンソーシアルソリューションズ 幡

ザッカーバーグ氏の「HTML5に賭けたのは失敗」発言には続きがある。長期的にはHTML5への期待も語る これまでFacebookはiOS向けのアプリをHTML5ベースで開発していましたが、起動が遅い、反応が重いなど不評でした。そこで方針を転換。8月にリリースされた新バージョンは性能を重視してネイティブアプリケーションとして開発されました。 ザッカーバーグ氏はこの、HTML5で開発するという方針を指して「HTML5に賭けたのは失敗」と発言したわけです。 ザッカーバーグ氏の発言のここだけを見れば、FacebookはこれからHTML5を捨ててネイティブアプリへ注力するように受け取れます。しかしザッカーバーグ氏のこの発言には続きがあります。そこまで聞くことで、本当は何を言いたかったのかがはっきりしてきます。 彼の発言を、TechCrunchで公開されているビデオから追ってみましょう（ビデオはこの記

情報システムやソフトウェアの開発に携わる技術者、マネージャー、スタッフなどを対象とした「全国スキル調査」（主催は特定非営利活動法人 ITスキル研究フォーラム）が、8月17日まで開催中です。 診断は以下の3種類で、登録すれば誰でも無料で参加できます。 ■IT技術者向けスキル診断「ITSS-DS」 ITサービスを提供する企業に在籍し、他社向け情報システムや販売用パッケージソフトの企画・開発や運用・保守を請け負ったり、技術者として派遣されている方などが対象 ■組込みソフト技術者向けスキル診断「ETSS-DS」 家電、自動車、産業機械などに組み込まれているソフトウェアやシステムの開発に携わっている方が対象 ■ユーザー企業情報システム技術者向け「UISS-DS」 一般企業やIT企業に在籍し、自社で利用する情報システムの企画・開発や運用・保守を担当している方が対象 IT技術者向けでは、今回からクラウド