日本発OSSで初の快挙 ASFが認めた機械学習ライブラリ「Hivemall」
日本発のOSS（オープンソースソフトウエア）が、世界の舞台に飛び立とうとしている。油井誠氏が開発を始めたOSSで、分散データ処理ソフトの「Hadoop」「Spark」用の機械学習ライブラリ「Hivemall」が2016年9月、米Apache Software Foundationの「Incubator（育成）」プロジェクトに認定されたのだ。 Apache Software Foundation（ASF）は、Webサーバーの「Apache」やJavaアプリケーションサーバーの「Tomcat」、Hadoop、Sparkといった有力OSSの開発の中心となっている非営利組織だ。ASFの正式プロジェクトは、OSSにおける「有力ブランド」であり、HivemallはIncubatorプロジェクトに選ばれることで、その候補入りを果たした。 プログラミング言語の「Ruby」やデータ収集ソフトの「Fluent
電通がデジタル広告の不適切業務で会見、「業務を統括する経営の問題」
電通は2016年9月23日、電通や国内グループ会社のデジタル広告サービスで不適切業務が判明したとして都内で会見を行った。中本祥一副社長は「人為的なミスも含めて、責任は特定個人というよりも業務を統括する我々を含めた経営の問題」と述べた。（関連記事へ） 会見冒頭で中本副社長は「広告主をはじめ関係各位にご迷惑とご心配をおかけしたことをお詫びする」と述べた。また、ミスの発生を牽制、発見する管理体制について「不十分であることは疑いの余地がない」と釈明した。 中本副社長によると、電通は8月初旬にデジタル広告の不適切業務を把握した。8月15日に中本副社長を委員長として、外部の弁護士やコンサルタントを含めた計5人の社内調査チームが発足した。 社内調査は、不適切業務の実態把握を目的に、関連業務に従事する社員や契約社員や書類の照合・突き合わせのほか、不適切業務が発生した原因の究明を進めているという。年内をめど
「シン・ゴジラ」にみる、ニッポンのITインフラの虚構と現実
※この記事には映画「シン・ゴジラ」の内容に関する記述が含まれています。 「シン・ゴジラ」、堪能した。 IT記者として、これほど心躍る映画があったろうか。 とにかく、緊急時の政府対応におけるITの描かれ方が、過剰とも思えるほどリアルなのである。政府内に会議体が立ち上がるたび、キャスター付きの複写機が大部屋にゴロゴロと運ばれ、仮設のネットワークが構築され、作業用PCの山が積まれる。 使うPCも組織ごとに異なる。私の記憶が正しければ、内閣府の職員は富士通か米アップル、環境省はパナソニック「Let'snote」、陸上自衛隊は同じくパナソニックの耐衝撃PC「TOUGHBOOK」を使っていた。 シン・ゴジラには、「科学特捜隊」とか「NERV（ネルフ）本部」とかのような、放送当時の技術水準からかけ離れた空想的ITの出番はどこにもない。劇中の年代は不明だが、「現実（ニッポン） 対 虚構（ゴジラ）」というキ
日本のリーダーはソフトウエアの本質を理解していない
ITには大いなる可能性と危険性があるが、結局はソフトウエアの問題に尽きる。ソフトウエアの構想、企画、設計、開発、保守のやり方をどう良くしていくのか。ソフトウエア人材の将来像はどのようなものになるのか。日本製ソフトウエアを輸出できないのか。 ソフトウエアについて様々な人が論じ合える場を用意し、多くの人に考えるきっかけを提供したい。そこで「ソフトウエア、それが問題だ～Software Matters」と題した本連載を始め、この中で、ソフトウエアの諸問題と対策を日本や世界の論客の方々、そしてITpro読者の皆様と考えていく。ソフトウエアに関するご意見をお寄せいただきたい。 第1回として米カリフォルニア大学バークレー校のRobert E.Cole（ロバート・コール）名誉教授に寄稿いただいた。コール氏は、日本の作業組織の研究で知られる。ミシガン大学社会学及び経営学の教授を務め、日米自動車の製品品質の
「年収も保有株も少なすぎる」、ベンチャーCTOイベントで実態報告
「ベンチャー企業のCTO（最高技術責任者）の年収はどれほどか」「自社株を保有しているのか」「その保有比率はどれくらいか」。 ソフトウエア技術者が思わず身を乗り出して聞きたくなるような調査結果の報告があったのは、ベンチャー企業のCTO約100人が集まったイベント「IVS CTO Night & Day 2016 Spring powered by AWS」内の1セッション。同イベントは、5月末に開催された「Infinity Ventures Summit（IVS）2016 Spring Miyazaki」と同じ会場で、IVSを主催するインフィニティ・ベンチャーズLLPとアマゾン ウェブ サービス ジャパンの共催により行われた。ちなみに、同イベントは2014年12月に初めて開催されており（関連記事: ITベンチャーが日本を元気にする）、参加CTOはIVSの一部プログラムにも参加できる。 今回の
News ＆ Trend - ヤフー、Open Compute Project採用し、1200台のサーバーによるHadoop基盤を構築：ITpro
ヤフーは、同社の米国現地法人YJ Americaが保有する米ワシントン州のデータセンターにおいて、ビッグデータ活用を目的としたHadoop基盤を構築した（写真1）。同基盤はOpen Compute Project（OCP）の仕様に基づいた製品を中核にし、1200台のサーバーと120ペタバイトのストレージで構成されている。製品を提供した伊藤忠テクノソリューションズ（CTC）が2016年2月2日に発表した。本稼働は2016年春を予定している。 ヤフーは国内のデータセンターで、既に6000台を超えるサーバーで構築したHadoop基盤を運用中だ。ポータルサイト「Yahoo! JAPAN」から得た様々な情報をHadoopで分析し、レコメンデーションやターゲティング広告などに役立てている。国内データセンターのHadoop基盤を構成するサーバー台数は、2014年の約4000台から急増している。 既存Ha
MTBF，MTTR，稼働率
システムや機器は故障しないに越したことはありません。しかし，故障そのものの発生をなくすことには限界があります。そこで「故障は発生するものだ」ということを前提にして，あらかじめ冗長な構成を作っておき，万が一故障した場合に備えることがあります。 信頼性を向上させる方策 冗長な構成を用意して信頼性を確保する手法は，総称してフォールトトレランス方式と呼ばれます。この方式で有名な実装方法には，デュアルシステムとデュープレックスシステムがあります。 デュアルシステムは冗長系（予備機）を並行動作させておき，万が一トラブルがあった場合には故障した方を自動的に切り離してサービスを継続します。設備の投資コストがかかりますが，トラブル時のダウンタイムをほとんどゼロにできます。 一方のデュープレックスシステムは，予備の機器を準備しておくだけで，通常は並行動作させません。そしてトラブル発生時に予備機を起動してそちら
HPのThe Machineは本当にスゴイのか？「メモリスタ」からひも解く
ご存じの方も多いかもしれないが、先日、米ヒューレット・パッカード（HP）が「The Machine」なる構想を鳴り物入りで発表した。 The Machineは、次世代のコンピュータアーキテクチャーに関するプロジェクトだ。2014年6月、米国ラスベガスで開催した自社イベント「HP Discover Las Vegas 2014」において、同社CTO兼Director of HP LabsのMartin Fink氏が登壇し、概要を発表した。現在のコンピュータアーキテクチャーを一新するとの目標を掲げた壮大なプロジェクトだ。 とどまるところを知らない計算能力向上やストレージ容量増大のニーズに応えるには、現在のコンピュータアーキテクチャーでは早晩、対応できなくなるというのがHPの主張。2012年にプロジェクトをスタートし、現在ではHP Labsの研究者の7割が、このThe Machineに関連した研
分散DB「Cassandra」の人気が加速、AppleとNetflixがブームを牽引
オープンソースソフトウエア（OSS）の分散データベース（DB）である「Apache Cassandra」の人気が米国で急速に高まっている。データセンター（DC）に障害が発生しても処理を継続できる可用性の高さがユーザーの支持を集めている。 Cassandraは最大で数千台のサーバーを連携して、数ペタバイトもの巨大なDBを運用できるという分散DBだ。サーバーは地理的に異なるDCに分散配置できるため、DC障害が発生した場合でも他のDCで処理を継続できる。 もっとも従来は、大企業でもなければ複数DCを運用するのは困難だったため、Cassandraの人気は限定的だった。最近は「Amazon Web Services（AWS）」や「Microsoft Azure」といった世界中のDCが利用できるクラウドが登場したことから、スタートアップでもCassandraのメリットを享受できるようになり、人気が高ま
「できない人」にいくら教えても「できる人」にならないのか
「こういう言い方をしたらいけないのかもしれないが、結局は生まれつきですよ。できる人に機会を与えれば、自分でできるようになる。できない人にいくら懇切丁寧に教えても、できる人にはならないね」 この身も蓋もない発言を聞いたのは、筆者が駈け出しの頃だったから、もう20年以上も前だ。情報システムの開発を成功させるにはどうすればよいか、色々な方を取材していたとき、「開発で一度も失敗したことがない人がいる」と紹介され、その人に会ったところ、こう言われてしまった。 そもそも、失敗しないその人との話はあまり弾まなかった。「なぜ失敗しないのですか」と聞くと相手は「うーん。失敗したことがないからなあ」と首をひねった。「あなたのように失敗しない部下をどう育てますか」と問うと、冒頭の答えが返ってきた。 当時のことを思い起こしてみると、筆者の取材能力に問題があり、相手から話をうまく聞き出せなかった。その人が不親切であ
NTTデータがサンフランシスコで語った「Sparkを使う理由」
米国サンフランシスコで2014年6月30日から7月2日まで開催されたSpark Summit 2014では、筆者の一人であるNTTデータの土橋昌が、エンタープライズ環境で「Hadoop」を扱ってきたNTTデータの立場から見た「Spark」の評価について講演した。第2回となる今回はこの内容を元に、200台ほどの実サーバーを用いて実施したSparkの検証結果などについて解説しよう。 NTTデータ 基盤システム事業本部OSSプロフェッショナルサービスに所属する土橋が登壇したセッションのタイトルは「Spark on large Hadoop cluster and evaluation from the view point of enterprise Hadoop and developer」というものだ（写真1）。NTTデータは6年前からHadoopに関連するシステム構築ビジネスを手がけており
「共同利用」から「第三者提供」に、CCCがT会員規約を大幅改訂へ
カルチュア・コンビニエンス・クラブ（CCC）は2014年8月14日、Tポイントサービスを提供するT会員向けの規約を同年11月に改訂すると発表した（T会員規約改訂のお知らせ、新旧対応表）。T会員に対し、8月下旬からWebサイトや電子メールで改訂を告知するほか、Tポイント提携企業の店頭でもステッカーやレシート、配布媒体を通じて告知する。2015年に予定される個人情報保護法改正をにらみ、「データ利用の透明性が乏しい」「利用者への説明が足りない」などの批判や懸念を払拭したい考えだ。 改訂の柱は、ファミリーマートやすかいらーくといった、店頭やサイト上でTポイントを付与する提携企業との情報共有について、法的な位置づけを「共同利用」から「第三者提供」に変更することだ。T会員は、第三者提供を差し止めるオプトアウト手続きを行うことで、情報の共有を停止できる。 これまでの共同利用の位置づけでは、T会員にオプト
第1回 カーネルやinitを刷新
3年8カ月ぶりのメジャーバージョンの新版となる「Red Hat Enteprise Linux 7」（RHEL 7）が米国では6月10日、国内では7月10日に発表された。リリースに際し、開発・提供元の米Red Hat社は、この新版が「エンタープライズOSを再定義したもの」（Redefining the Enterprise Operating System）とのメッセージを発信している。 RHEL 7もOSの中核としてLinuxカーネルを採用しているという点では、従来通りに「Linuxディストリビューション」であり、この点では連続性を維持している。しかし、誕生から20年を超えたLinuxの歴史において、「エンタープライズOSを再定義した」といえるほど大きな変更が、カーネルとユーザースペースに大別されるLinuxの処理のいずれにも加えられている。まずは、その“大きな変更”について説明する。
「OpenStackはAmazon Web Servicesを超える」、OpenStack Foundation COOが宣言
「世界中のアクティブユーザーが、OpenStackコミュニティーの成長を支えている」──。オープンソースのクラウド基盤構築ソフトウエア「OpenStack」をテーマにしたイベント「OpenStack Days Tokyo 2014」が、東京・御茶ノ水で2014年2月13日と14日の2日間にわたって開催される。OpenStackプロジェクト共同創始者の1人であり、OpenStack FoundationのCOO（最高執行責任者）を務めるMark Collier氏が初日の基調講演に登壇。OpenStackの利用が急拡大し、OpenStackそのものもハイスピードで機能強化が進んでいることを強調した（写真1、写真2）。 Collier氏は講演の冒頭で、「あらゆる企業にとってソフトウエアは戦略そのものになっている。“ありもの”のソフトウエアをボックスで買ってきてもうまくいかないと気付き始めたユーザ
不具合続発が逆に事態を動かした，日本発NILFSのLinuxへの統合
「不具合が続出したことが，逆に事態が前進する転機になった」---NTTサイバースペース研究所の小西隆介氏は，同氏らが開発したNILFS（図1）が最新バージョンのLinuxカーネルに標準採用された経緯をこう表現する。 すべての更新データを復元，SSDで高速 「半導体ディスク（SSD）上のベンチマークで最も速かったファイル・システムはNILFS」---米LINUX MAGAZINEはこんな記事を掲載している。ext3, ext4, reiserfs, xfs, Brfs, nilfsといったLinuxファイル・システム上でファイルの読み書きを行うベンチマークで，ファイルのサイズが異なる4種類のテストを行い，いずれのケースでもNILFSが最も高い性能を示したという結果を紹介したのだ。この記事は注目を集め，米国のソーシャル・ブックマーク・サービスDiggでは500ユーザー以上がブックマークしている
「爆速」ヤフーの新たな試み、スマホ向け広告事業を社外で育成
スマートフォン向けの広告は、画面の制約が悩みの種。パソコンに比べると表現できるスペースが限られるため、効果を上げるのが非常に難しい。広告主としてはできるだけ表示スペースを大きくとってアピールしたいところだが、度が過ぎるとユーザーから「ウザい」と思われ、逆効果にもなりかねない。かといって、控えめな表示ではそもそも広告の意味をなさない。
分散ファイルシステムのGlusterFS：こんなとき、どうなる
企業で処理するデータ量が爆発的に増加している。かつて企業内の大量データというと、データウエアハウス（DWH）やビジネスインテリジェンス（BI）で取り扱う定型データの集まりのことだった。しかし現在では、それらに加えてオフィスソフトの文書データやWebサーバーで配信するテキスト、画像、音声などの非定型データも大量に扱うようになった。 こうした背景から、「ビッグデータ」と呼ばれる、データの急激な増大傾向に対処する方策が求められている。しかも、限られた予算の中で実現でき、かつ効率よく運用できる仕組みでなければならないケースがほとんどである。 このようなニーズに応えられる、スケーラビリティを備えた分散ファイルシステムが注目されている。そこで、そうした分散ファイルシステムの一つであるGlusterFSについて、「拡張性」「可用性」「性能」の検証を行った。 ネットワーク上のストレージを集約 Gluste
［2］Amazonとの互換路線に二つのパターン
AWSとの互換性を重視する「完全互換路線」と、AWSとの互換性はほどほどにして独自機能を重視する「限定互換路線」に分かれる。 一つめはOpenStackや「CloudStack」といった、AWSとの互換性を持つOSSのIaaS構築ソフトを使ってIaaSを実現する「完全互換路線」だ。AWSと同様のネットワーク機能やストレージ機能を実現可能で、管理用APIの仕様も同一であることを売りにする。AWSとの差異化のポイントとしては、「クラウド事業者間の連携が可能である」ことや「ハイブリッドクラウドが実現できること」を打ち出している。 AWSの弱点は、「AWSと全く同一の仕様を備えたオンプレミスのプライベートクラウドを実現できないこと」にある。AWSがIaaS構築ソフトを外販していないためだ。一方、OpenStackやCloudStackは、プライベートクラウドの構築にも利用できる。このようなクラウド
「健全さ追求し開発・運用に一体感」DevOpsDay Tokyoでクックパッド成田氏
「情報システムの開発と運用の“健全さ”が一体感を生み、DevOpsを成功させる」――。レシピサイトを手掛けるクックパッドの成田一生氏（インフラストラクチャー部 部長）は2013年9月28日に都内で開催された「DevOpsDay Tokyo 2013」の講演で、このようにアピールした（写真）。 講演タイトルは「迷ったら健全な方を選ぶ」。成田氏はまず、クックパッドにおけるシステム開発・運用の現状を説明。急速に事業を拡大するクックパッドでは、社員の約3割がクックパッド以外の事業に携わる。新規事業が次々と誕生し、開発チーム（52人）は1日当たり5～10件もの新機能をサイト上にリリースしている。 そのため、成田氏ら運用チーム（5人）が当日になってリリースに気付き、急きょサーバーを増強するトラブルも起きているという。それでも成田氏は「開発と運用の間に、承認フローやルールを持ち込むのは絶対に避けたい」と
UDT
ネットワークの高速化が進んでいる今，実は，IPとアプリケーションの間で動作するTCP（transmission control protocol）が大きなボトルネックとなっている。従来のTCPは，通信距離が長くなると，伝送路の帯域をいくら太くしてもスループットがほとんど上がらないのだ。この問題を解決すべく，各国のさまざまな研究グループが新しいプロトコルの開発を進めている。その中で，米イリノイ大学シカゴ校などの共同グループが開発したUDP（user datagram protocol）ベースのプロトコルがUDTだ。 TCPを使うと長距離通信でスループットが出ない原因の一つは，連続して送信するパケット数（ウインドウ・サイズ）を適切な値に調整するまでに時間がかかるからである。 TCPでは，まず小さなウインドウ・サイズで送信を開始する。受信側に余裕があるなら，受信側はもっと大きいウインドウ・サイズ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
