［独自記事］リクナビが提携サイトの閲覧履歴も取得していた事実が判明
就職情報サイト「リクナビ」を運営するリクルートキャリアは2019年8月6日、就職活動をしている学生のサイト閲覧履歴などを基に内定辞退の指標を顧客企業に提供していたサービスで、同社と提携するサイトの閲覧履歴も取得していたと日経ｘTECHの取材に明らかにした。提携サイトから「個人を特定できないcookie（クッキー）情報を取得していた」（社外広報グループ）と説明するが、同社はクッキーを「リクナビID」に突合していた。他社が運営するサイトの閲覧履歴を基にした個⼈情報を第三者提供していたことになる。 内定辞退の可能性を指標データとして顧客企業に提供していたのは「リクナビDMPフォロー」。同社のプライバシーポリシーは、学生であるユーザーがログインしてサービスを利用した場合、「個人を特定したうえで、ユーザーが本サービスに登録した個人情報、およびcookie（クッキー）を使用」して、同サービスのほかに同
深層学習の最新テクニック、AIコンペの成績上位5人が披露 | 日経 xTECH（クロステック）
人工知能学会は2018年6月5日、同学会が主催した画像認識コンペティション「JSAI Cup 2018」の結果を発表し、入賞者5人を表彰した。1位～5位の入賞者が実施したプレゼンテーションを通じ、深層学習（多層のニューラルネットを使った機械学習）で画像認識AIの精度を高める最新のテクニックを紹介しよう。 今回のコンペのテーマは「食材の分類」。食材の画像データから、タマネギ、きゅうりなど55種類の材料を分類する画像分類器を設計し、正解率の高さを競う。 「タマネギ」「きゅうり」などの正解ラベルが付与された学習用の画像データは1万1995枚、正解ラベルを付与していない評価用のテストデータは3937枚 主催者が提示した学習用の画像データは、協賛のクックパッドが提供した1カテゴリ約290枚×55カテゴリの1万5932枚である。コンペの開催期間は2018年1月22日～3月29日。応募者は121人で、う
Yahoo!、機械学習研究者向けに大規模データセットを公開
米Yahoo!は現地時間2016年1月14日、教育機関の機械学習研究者向けに大規模なデータセットを公開すると発表した。大企業だからこそ蓄積できる真に大規模なデータセットを提供することで、機械学習およびレコメンダーシステム分野の発展を目指すとしている。 Yahoo!が公開する「Yahoo News Feed」データセットは、Yahoo!ホームページをはじめ、「ニュース」「スポーツ」「ファイナンス」「映画」「不動産」といったYahoo!サービスのニュースフィードにおけるユーザーの反応について情報を収集したもの。 2015年2月～5月にユーザー2000万人がニュース記事に対して実行したクリックなどのアクションを、個人が特定できないかたちで記録した。1100億件の記録から成るデータサイズは非圧縮状態で13.5Tバイトにのぼる。 またデータセットには、年齢層、性別、地域といったユーザーの統計情報のほ
Deep Learningの実力と限界、人工知能のロードマップ
「人工知能が人類を追い越す特異点（Singularity）は来ない」「深層学習（Deep Learning）が大流行しているが、壁に突き当たる」「人工知能は、目先の技法にとらわれることなく、本来の目的に向かって進め。つまり、人工知能は人間のインテリジェンスを目指せ」──ショッキングで考えさせられる内容の講演だった。 人工知能開発への厳しい意見 New York University心理学部教授Gary Marcusは、2015年8月、人工知能学会「SmartData Conference」（上の写真）で、このように講演した。Marcusは心理学者として、頭脳の知覚機能を人工知能に応用する研究を進めている。GoogleやIBMを中心に、IT業界が人工知能開発につき進む中、その手法は正しいのか。厳しい意見が続いた。 Marcusの発言の根底には、人工知能は我々が考えているより“未熟”である、と
Watsonは単なる「質問応答システム」にあらず、CTOが語る全貌
米IBMの「Watson」は、米国のクイズ番組「Jeopardy!」の勝利で一躍有名になったため、「質問応答システム」と見なされることが多い。しかし商用化から2年が経ち、Watsonの全貌は大きく変わった。改めてWatsonとは何なのか。WatsonのCTO（最高技術責任者）を務めるRob High氏に聞いた。 最近のWatsonは、IBMが2015年3月に買収した「AlchemyAPI」のディープラーニング技術を取り込むなど、当初のイメージからかけ離れてきた。改めて、Watsonとは何か。 「Cognitive（認知）System」を実現するためのプラットフォームだ。Cognitive Systemとは、以下の四つの条件を満たすシステムと定義している。 第一に、Cognitive Systemは自らの行動（behavior）を学習するシステムだ。例えば、人間が大量の条件文をプログラムしな
［脳に挑む人工知能14］「ディベートAI」の背後にある知性と感情
「暴力表現のあるビデオゲームの子どもへの販売は禁止すべきか？」 「カジノは合法化すべきか？」──。 賛否のあるテーマについて、肯定側・否定側に分かれて、互いに主張の理由と根拠を提示する「ディベート」。人間の論理思考力が試されるこの行為に、人工知能（AI）が挑んでいる。 ディベートAIの研究から透けて見えるのは、本当に人を納得させる意見をAIに作らせようとすると、人間の論理思考力を再現するだけでは不十分、という事実だった。 自然言語処理の新領域に挑む 日立製作所は2015年7月、大量の英文ニュース記事を解析し、賛成・反対の理由と根拠を英文で表現できるディベートAIを開発したと発表した（図1）。東北大学大学院情報科学研究科の協力を得て開発したもので、コンピュータとの論理的な対話を実現するための基礎技術になるという。
“人工知能3原則”が登場へ
この1年ほど、人工知能が将来何をもたらすかについて世界中で議論が巻き起こっています。人類に巨大な益をもたらすとされる一方で、人間の仕事が奪われ、さらには人間による制御が効かなくなる落とし穴にはまる可能性もさかんに議論されています（関連エディターズノート）。 人工知能の行方を懸念する人の中には、著名な研究者や経営者も少なくありません。「ホーキング、宇宙を語る」などの著書で一般にも知られる物理学者のStephen Hawking氏は2014年12月に「人工知能は人類を終わらせかねない」と警鐘を鳴らしたと報道されています。 米Tesla Motors社 Chairman＆CEOのElon Musk氏も2014年8月、「人工知能の研究には最大の注意を払う必要がある。潜在的には、核兵器よりも危険な存在になり得る」と自身のTwitterで発言しています。 「人工知能の研究に関するガイドライン」に多数が
［ITpro EXPO 2014］「使って体験して自分を放り込む」、大前研一氏が教える21世紀の人材
「使ってみる、体験してみる、そして自分を放り込んでみる。これが21世紀を担う人材になるための秘訣だ」。ビジネス・ブレークスルー大学の学長、大前研一氏は講演の壇上で聴衆に向けてこう語った。 2014年10月15日、ICT分野の総合イベント「ITpro EXPO 2014」が開幕した。初日の開幕直後に始まったのが、大前氏によるこの基調講演「2020年、日本企業飛躍のカギ」。平日の朝にもかかわらず、会場には立ち見が出るほどの聴講者が集まった。 大前氏は「既存のルールを破壊し新しい価値を創造した人々」と言葉を添えつつ、米ツイッターの創業者の一人であり米スクウェアのCEOであるジャック・ドーシー氏や、米テスラモーターズ創業者であるイーロン・マスク氏の名を挙げる。そして「日本が再び成長軌道に乗るためには、役割を終えた古い秩序を破壊する人材が必要だ」と指摘。産業界を支える一人ひとりが「変わった発想をする
「機械学習」革命 ～的中したビル・ゲイツの予言
「自ら学習するマシンを生み出すことには、マイクロソフト10社分の価値がある」。 米マイクロソフトの創業者ビル・ゲイツ氏は今から10年前の2004年2月にこう語った。 その時は来た。 米グーグルや米アップル、米フェイスブックといった先進IT企業は今、コンピュータがデータの中から知識やルールを自動的に獲得する「機械学習」の技術を駆使し、様々なイノベーションを生み出し始めている。 これらは来たる機械学習革命の、ほんの序章に過ぎない。 機械学習の本質は、知性を実現する「アルゴリズム」を人間の行動パターンから自動生成することにある。 この事実が持つ意味は、果てしなく大きい。 今後、実社会における様々な領域で「人間の頭脳を持つプログラム」が登場する一方、データの中から知識やルールを見つけ出したり、プログラムを開発したりするデータサイエンティストやプログラマーの仕事が、機械に置き換えられてしまうからだ。
次世代Hadoop最有力候補の「Spark」、動き始めたエコシステム
次世代Hadoopの有力なビッグデータ分析基盤として期待を集めているフレームワークがある。Apache Software Foundation（ASF）のオープンソースソフト（OSS）プロジェクトである「Spark」だ。インメモリー処理が特徴で、Hadoopにおける処理方式の一つである「MapReduce」を用いた場合と比べて最大で100倍以上、分析処理を高速化できる。 Sparkは当初、研究用途として米University of California Berkeley（UCB）の研究組織「AMPLab」で誕生したものだが、2014年5月にはASFから「バージョン1.0」が公開された。研究用途のフェーズを脱し、企業が商用で使えるソフトを目指すことを宣言した形だ（関連記事：Hadoop超える機械学習向きのビッグデータ処理基盤、Spark 1.0が正式公開）。 Sparkに注目し、その動向に詳
Hadoop超える機械学習向きのビッグデータ処理基盤、Spark 1.0が正式公開
米Apache Software Foundationは、ビッグデータ処理を分散クラスター上で高速に実行できる処理基盤「Spark 1.0」を2014年5月30日（米国時間）に公開した。 HDFSを介してストレージ経由のやり取りが多くなるHadoopと比べて、インメモリー処理を主体とするSparkでは、より高速で低遅延の分析が可能となる。次世代のビッグデータ処理基盤として期待が集まっているフレームワークである。 SparkではHadoopと同じく、処理対象となるビッグデータをHDFSから読み取ることができるが、以後の処理は基本的にインメモリーで行う。このため、機械学習やグラフ計算のように繰り返し型の計算が多い処理を、Hadoopよりも高速に実行できる（関連記事：NECがビッグデータの機械学習を高速化する技術を開発、インメモリー処理やMPIを導入）。 Sparkは、もともと米Universi
［量子コンピュータ1］突然商用化した夢のマシン
実現は遠い未来のことだと考えられていた「量子コンピュータ」。それが突然、従来とは異なる方式で実現した。カナダD-Wave Systemsが開発し、米グーグルや米航空宇宙局（NASA）が導入した量子コンピュータ「D-Wave」だ。 D-Waveが期待通りの性能を出すことができれば、現在のビッグデータ活用が子供の遊びに思えてくるほどの、計り知れないビジネス上のインパクトがもたらされる。そんなD-Waveに、日本の研究や技術が大きく寄与していたことを知っているだろうか。 それだけではない。現在、日本の国立情報学研究所（NII）が、D-Waveのさらに上を行く日本独自の量子コンピュータの開発を進めている。 次なるIT革命の中心地は、実は日本だ。知られざる量子コンピュータの真の姿に迫る。 米航空宇宙局（NASA）や米グーグルが、熱い視線を注ぐ日本人研究者がいる。彼が生み出した理論が、「量子コンピュー
グーグルとTwitter、「東日本大震災ビッグデータ」を活用するためのワークショップを開催
グーグルとTwitter Japanは2012年9月12日、東日本大震災に関するビッグデータを活用し、今後起こり得る大災害への対策などに生かせるようにすることを目的としたワークショップ「東日本大震災ビッグデータワークショップ - Project 311 -」を開催することを発表した。開催期間は9月12日から10月28日まで。 同ワークショップでは、震災発生直後からテレビや新聞、インターネットを通じて流れた膨大な情報（ビッグデータ）が、どのように発信されて流通・拡散していったのかを当時の実データを用いて検証する。得られた検証結果を基に、「適切な情報流通施策についての提言」や「災害対策向けサービスのプロトタイプ開発」などを進めていくという。 分析に使われるデータを提供するのは、ワークショップを主催する「東日本大震災ビッグデータワークショップ 運営委員会」の幹事を務めるグーグルおよびTwitte
「Hadoop Summit 2012」に見るツール/事例の最新動向
本連載では、オープンソースの大規模分散処理基盤「Hadoop」を利用している技術者向けに、数回にわたりHadoop運用の最新情報やノウハウ、活用の勘所を紹介する。 HadoopやHadoop周辺ツールは、現在も活発に開発が進んでおり、安定化に加えて高機能・多機能化も図られ、適応領域が広がりつつある。それだけにHadoopユーザーは周辺ツールや利用動向について、常にアンテナを張っておくべきであろう。 そこで、今回は2012年6月13日と14日の2日間、米国カリフォルニア州サンノゼにて開催された、Hadoop Summit2012の模様を要約して紹介する。 米ヤフー!と、米ホートンワークス（米ヤフー!のHadoop専門チームがスピンアウトしたHadoop専業ベンチャー企業。2011年6月設立）が共催する同イベントは、今回で5回目の開催となる。 2008年の第1回開催時は200人だった参加者が今
ビッグデータ統計処理の有力ツール「R言語」入門：ITpro
昨今、ビッグデータというキーワード、およびその関連技術は非常に注目を集めており「R言語」というフレーズを耳にする機会も多くなってきたように感じます。 本稿は利用例を通じてR言語の概要、イメージを掴んでいただくことに加え、R言語を取り巻く業界の動向についてご紹介することを目的としています。 利用例としては、私がとあるシステム運用において実施していた分析を簡略化した形でご紹介します。システム統計情報に対する分析であり、ITシステムの設計や運用に携わる方であれば目にすることの多い、なじみ深いデータ分析と言えるのではないでしょうか。 なお、本稿では統計についての数学的な解説は極力行わず、R言語の利用者目線でのご紹介に重点を置きます。 対象読者としては「IT部門などで何らかのデータ処理に関与されている方」「表計算や分析ツールを利用中で、統計解析に分析内容を拡充しようと検討中の方」などを想定しています
第8回 テキスト分析ツールは「思考支援ツール」へ
およそ10カ月にわたったテキストマイニングの連載も今回でいったん終了する。そこで今回は10年間での進化を紹介するとともに、テキストマイニング技術の本質について解説したい。 まず図1に、当社が推奨する分析手法を示す。一般にテキスト情報は、主要意見と少数意見から構成される。これを「全体像」と「兆候」に区分して、テキストマイニングの基本フローとしていることは前回で説明した。 図中のフローに、各分析プロセスの狙いとそれに対応する5つの分析機能を示す。各々の分析機能の概要は、これまでの連載：第1～6回でも紹介してきたものであるが、今回はそれらの機能が誕生した背景についても触れたい。 （1）文単位での分析機能（森を見る技術） ほとんどのテキストマイニングツールはまず、「木を見る技術」からスタートした。これは、文章の単語や係り受けの「有り・無し」を判断するもので、いわゆるブーリアン（「AND」「OR」「
NTTとPFI、ビッグデータに対する高度な分析をリアルタイム処理するソフト基盤を開発
NTTとプリファードインフラストラクチャー（PFI）は2011年10月26日、分散ソフトウエア基盤「Jubatus（ユバタス）」を開発したと発表した。Jubatusは大量データに対する機械学習などの高度な分析をリアルタイムで処理できるソフトウエア。10月27日からオープンソースソフトウエア（OSS）として公開する。 Jubatusは、発生したデータを複数のサーバーに振り分けて、リアルタイムに分析処理を行う。サーバー台数を増やすことで処理性能を向上するスケールアウト構成をとることができる。Jubatusの構成は、複合イベント処理（CEP）やストリーミング処理ソフトに似ている。しかし、CEPやストリーミング処理ソフトが、集計やパターンマッチングといった単純な処理のみを実行するのに対して、Jubatusは機械学習のような高度なデータ分析をリアルタイム処理できることが特徴だ。 機械学習とは、データ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
［機械学習革命2］常識破りのパターン認識
ビッグデータのシステムデザイン