ヤフー、高次元データの高速検索技術「NGT」をオープンソース化 企業に“眠る”ビッグデータを分析しやすく
ヤフーは11月24日、高次元データの高速検索技術「NGT」（Neighborhood Graph and Tree for Indexing）を、商用・非商用を問わず利用できるApache License 2.0のオープンソースソフトウェア（OSS）として「GitHub」で公開した。同技術に関する特許実施権も無償提供する。 NGTは、テキストや画像、商品データ、ユーザーデータなど、複数の特徴を持つ高次元データを、大量のデータベースの中から高速に検索・特定できる技術。200万件の言語データを対象にした場合、これまで最速だった技術「SASH」の約4倍、主流の技術「FLANN」の約12.3倍の速さで検索でき、1000万件の画像データが対象だと、これまで最速だった「直積量子化手法」の約5.6倍、FLANNの約13.5倍の速さで検索できるという。 NGTを使えば、近似したデータを高速でマッチングでき
第2回：技術革新-エピソード1：新技術者集団が登場
日本の電子産業が苦境から抜け出せない。例えば、半導体。半導体の世界売上高は2014年に2年連続して過去最高記録を塗り替えたものの、日本では半導体は構造不況業種に成り下がっている。1980年代後半の日米半導体摩擦がうそのようだ。 この寄稿では、30年間米国企業で働いた日本人技術者が実際に現場で見た状況を基に、米国電子産業が復活し日本電子産業が凋落していった理由を分析する。日本から見ると派手な動きが目に着く米国だが、実際には米国企業は長い年月をかけて地道に力を付けてきた。それが結実した、と著者は見る。技術者個人のキャリア形成も意外に地道だという。働きながら勉強を欠かさずに力を付けていく。華麗な転職の背景には、たゆまぬ努力があるとする。 第2回は、著者が80年代/90年代に米国の大手化学メーカーで携わってきたプロセスコントロールの革新を、主に紹介する。（日経テクノロジーオンラインによる要点） 近
地域における医師の確保について - 感染症は国境を越えて - アピタル（医療・健康）
朝日新聞社のニュースサイト、朝日新聞デジタルの医療サイト『朝日新聞アピタル』（医療・健康・介護）についてのページです。最新記事の見出しは「アイン元社長ら無罪主張 病院内薬局の入札妨害事件、一審は有罪判決」「マイナ保険証、登録解除の申請792件に 来月2日から移行」「リスクとどう向き合えばいいですか？ 心理学者が考える対応方法とは」「一人暮らし高齢者世帯が増加、2050年は32道府県で20％超に」です。
Spark が次のビッグデータの主役、という主張についての疑問
Sho Shimauchi @shiumachi "Sparkは、ビッグデータ処理ソフトの定番「Hadoop」に続く、次なるビッグデータ処理の主役に目され始めている" ちょっと私の理解と違うかなあ itpro.nikkeibp.co.jp/atcl/column/15… Sho Shimauchi @shiumachi SparkはHadoopと比較するのではなく、 MapReduceと比較するものだと思っている。 バッチ処理(MapReduce)や、SQL (Impala/Presto/Drill)、全文検索(Solr/Elasticsearch)等に並ぶ新しい分散処理がSparkという認識 Sho Shimauchi @shiumachi そもそもHadoopは何か。HDFS(分散ストレージ)+MapReduce(分散バッチ処理)だけの時代はこのまま覚えていればよかった。しかし、Map
第4回 セキュリティ
オンプレ並みの漏洩対策を追求 NTTドコモ AWS上でもオンプレミス環境と同水準のセキュリティを担保できる。NTTドコモの森谷優貴氏（R&Dイノベーション本部 サービスイノベーション部 第3サービス開発担当 主査）らのチームが、自社のビッグデータ基盤を10月に稼働させる際に、最も重視した要件の一つがセキュリティだった。 顧客の個人情報を膨大に保有する携帯電話事業者だけに、情報漏洩対策は万全を期す必要がある。事前に検証を重ね、社内のセキュリティ規定を満たせると結論付けてから整備した。 オンプレミスと同水準のセキュリティを確保するため、森谷氏らは五つの工夫を施した。具体的には（1）ファイル単位で暗号化、（2）部門別にネットを分離、（3）役割別に権限を分離、（4）閉域接続、（5）操作ログの取得―である（図7）。
第16回八子クラウド座談会LT Iot Analytics
Transcript 1. Copyright © 2015 Macnica Networks Corp. All rights reserved. クラウドによるIoT Analytics -IoT・ビッグデータ解析を通じて見えてきたもの- 2015年3月21日 第16回八子クラウド座談会LT マクニカネットワークス株式会社 Splunker 鈴木富士雄 @fujiosuzuki 2. Copyright © 2015 Macnica Networks Corp. All rights reserved. スプランクによるIoT解析事例 Splunk(スプランク）はビッグデータの解析をブラウザ上で行う事 ができる、解析ソフトです。今回はインターネットにつながったモノ、 いわゆるIoTの解析事例をご紹介させて頂きます。 弊社ではさまざまなデバイス、機器のデータを収集し、お客様と打 ち合わせ
ビッグデータの解析で明らかになった３つの人間・社会の法則 - のほほん感想録
『データの見えざる手』を読みました。 この本は、ウエアラブルセンサという人に装着するセンサを利用して、24時間人間の行動を記録したビッグデータから人間社会の新たな発見について書かれたものです。 今まで理系の本は、興味が湧かなかったので読んでこなかったのですが、この本は興味のない私でも楽しめました。経済や経営といった社会科学が科学的に明らかになっていき、今までの人間や社会の常識が覆されていくのが面白かったです。 今回は、この本を読んで驚いた、ビッグデータで明らかになった人間や社会の法則をいくつか紹介したいと思います。 Photo:big-data_conew1 By luckey_sun 人間の行動は決まっている 人が1日に行動できる回数は決まっていることが、ビッグデータによって明らかになりました。そのデータの要約は以下の通り。 人は、1日の中で約7万回の腕の動きをしており、人の行動の種類が
OpenID #BizDay #7 「どう変わる？個人情報保護法改正とビッグデータ／パーソナルデータ活用ビジネス」
Kaoru Maeda 前田 薫 @mad_p OpenID BizDay #7「どう変わる？個人情報保護法改正とビッグデータ／パーソナルデータ活用ビジネス」 始まった #bizday Kaoru Maeda 前田 薫 @mad_p 山中さん: 背景について。去年の6月にIT最先端なんちゃらが出て、ビッグデータに入っている個人情報の保護を見直そうということになった。去年の9月から個人情報保護法の改正を視野に入れた検討が始まった #bizday Kaoru Maeda 前田 薫 @mad_p 山中さん: 今年の6月でひとくぎりで、パーソナルデータの利活用を見すえた大綱案が出た。いまパブリックコメント募集中。まずは大綱の中でうたわれること、検討会で検討されたことについて解説いただこうと #bizday
ビッグデータ「同意なしで提供も可能に」 NHKニュース
プライバシーに配慮しながらビッグデータの活用を進めていくためのルールを盛り込んだ「個人情報保護法」の改正を目指している政府の検討会は、「個人が特定されないようにデータを加工した場合は本人の同意を得なくても第三者に提供できる」などとした大綱の原案をまとめました。 商品の購入履歴や位置情報などのビッグデータは、新たな産業の創出につながると期待される一方、ほかの情報と組み合わせることで個人が特定されるおそれもあり、企業が活用に慎重になっています。 このため政府の検討会は、プライバシーに配慮しながら活用を進めるためのルールを盛り込んだ個人情報保護法の改正に向け検討してきました。 まず、今の「個人情報保護法」では、企業などが集めたデータをさらに別の企業など第三者に提供する場合、本人の同意を得ることが義務づけられていますが、大綱の原案では、企業の負担などを考慮して「個人が特定されないようデータを加工し
顧客が次に買いたい商品を予言！ナイキも出資する注目のビッグデータ解析系スタートアップ「Reflektion」 | Techable(テッカブル)
近年ビッグデータという言葉がバズワードとなっているが、それにともないデータ解析系のスタートアップの活躍が目立っている。 その中でも今注目を集めているのが、インテルやナイキといった企業も投資をしている「Reflektion」である。複数のサービスを提供しているが、その中でもコアとなるのがEコマース向けのデータ解析サービス。 Eコマース向けのサービスの特徴は、とにかく集めたデータをもとに“消費者個人個人”に最適化した体験を提供できること。それまでの個々の購買履歴を元に徹底して最適化したサイトになるようにサポートするというものだ。 いくつかある機能の中でも注目したい機能は３つ。 1つ目は、顧客が次に買いたくなる商品を割り出し、レコメンドする機能。これは特にこのサービスに限った話ではないものの、リアルタイムにデータを解析し、最新のトレンドや商品の売れ具合を基に常に最適な商品をレコメンドする。 2つ
通行人の顔を識別、追跡実験…ＪＲ大阪駅ビル : ニュース : ネット＆デジタル : YOMIURI ONLINE（読売新聞）
無数のカメラが通行人の顔を識別し、その行動を追跡する。そんなＳＦ映画のような実験が、４月からＪＲ大阪駅で始まる。１日の乗降客は８２万人。顔認証技術を用いて位置情報を取得する、 これほど大規模な実験は珍しい。位置情報をビッグデータとして活用する試みは今後、防犯対策などにも広がりそうだが、気になるのは、行動を把握される当人が本当に納得しているのかどうかだ。 実施するのは独立行政法人・情報通信研究機構（東京）。ＪＲ大阪駅と駅ビル「大阪ステーションシティ」のうち、地下１階から３階までの改札やコインロッカー、エスカレーターや店舗などに９０台のカメラを設置。カメラは３メートル四方にいる人物の顔を撮影すると顔の特徴を抽出してＩＤをつける。別のカメラが同一人物と認識すると位置情報や時間を登録。その人物の行動履歴を１週間分記録する。顔認証システムを納入した業者によると、個人識別率は９９・９９％という。 ＪＲ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://jp.techcrunch.com/2015/06/23/20150622hadoop-standardization-is-essential-for-industry-growth/
グーグルも導入 突然登場した「量子コンピューター」 - 日本経済新聞
BLOGOS サービス終了のお知らせ