古典的統計手法に超高速アルゴリズムを組み合わせ、ビッグデータから新しい事象を見出す統計手法を開発 | 特集記事 | Nature Careers | Nature Portfolio
古典的統計手法に超高速アルゴリズムを組み合わせ、ビッグデータから新しい事象を見出す統計手法を開発 2013年8月22日 東京工業大学大学院 情報理工学研究科 計算工学専攻 瀬々 潤 准教授 生命科学の研究では、P値（検出された事象が誤りである確率を示す検定値）は発見の信頼性を担保する重要な概念となっており、P値が0.05あるいは0.01といった閾値以下（有意水準とした5％以下あるいは1％以下）であることが必須とされ、論文にも明記することが求められている。 遺伝子の変異を例に取ると、次世代シーケンサーの登場で読み取れる情報が膨大になり、数多くの変異が発見される一方で、変異が少数の場合と同一の基準で調べると、偶発的に生まれる誤発見を含む確率も高くなる。誤発見を避けるためには、データが増えるに従って、P値の計算方法をより精度の高いものにする必要がある。ところが、これまで膨大なデータからP値を精度
統計分析をフル活用し、年間数千万以上の広告宣伝費削減に成功─ リクルート式ビッグデータのビジネス活用最前線
『MarkeZine』が主催するマーケティング・イベント『MarkeZine Day』『MarkeZine Academy』『MarkeZine プレミアムセミナー』の 最新情報をはじめ、様々なイベント情報をまとめてご紹介します。 MarkeZine Day
機械学習と自然言語処理とビッグデータ - Preferred Networks Research & Development
岡野原です。 情報処理学会主催の連続セミナー「ビッグデータとスマートな社会」での機械学習の回、自然言語処理の回での講演資料を公開しました。 今年はビッグデータという言葉が広まったということで、このテーマで話す機会が多かったです。今はビッグデータというとそれを支えるインフラ、クラウド、DBなどがまず注目されていますが、我々としては実際それを使って何をするのか、何が実現できるのかというところを注目しています。 PFIは元々こうしたデータを分析して価値を提供する（検索エンジンとかもその範疇に入ると思います）ことをずっと続けてきたわけですが、ビッグデータという言葉が広まってくれたおかげでこの考えがより受け入れられ様々な業界の方と随分と話がしやすくなったと思います。 以下の講演資料では、今ビッグデータの中でも機械学習と自然言語処理の分野において我々がどこに注目しているのかを話をしました。
ソーシャルゲームのためのデータストリームマイニング : 研究開発
総合研究大学院大学 複合科学研究科 情報学専攻 卒 博士（情報学） 自然言語処理や機械学習、データ分析に関する研究内容とwebシステムの開発と運用について書いています。 シリコンバレーベンチャーみたいに深い技術の事業化をしたいと思っています。 ご興味ある方はご連絡ください。 別に(ソーシャル)ゲームに限らず、ユーザのそういった行動ログはweb閲覧履歴など...の形態で蓄積されていたはずで,それに比べてデータ量が大きく増えたわけではないのに、何で今更ビッグデータがどうのこうのと言われているんでしょうか？ ソーシャルゲームの会社は口を揃えてユーザの行動ログを分析...マイニングして売り上げ増やしたいと思ってますが、しかしデータマイニングについては基本的に心構えというか、ある種の"覚悟"のようなものが要りますよ。 「ビッグデータがあるので、これを分析して何か面白いことがわからないか」 とか言う
ビッグデータが解き明かす！ももクロ・ブレイクの理由｜【Tech総研】
アイドル戦国時代！ポストAKBとなるのは誰か？ 星の数ほどある（？）アイドルグループの中からAKB48、ももいろクローバーZ、Berryz工房、スマイレージ、東京女子流、私立恵比寿中学を選び、ビッグデータで解明する。 ブログと「ブレイク」との相関関係を探る 「アイドルグループ戦国時代」と呼ばれる現在、彼女たちの方向は2つに分かれる。ブレイクするアイドルと、そうでないアイドルだ。では、その差は何か。さまざまな要因があるとは思うが、ビッグデータを使って解明できないかと考えた。 今年6月に行われた「2012年第4回AKB選抜総選挙」。覚えている人も多いだろうが、この順位をビッグデータを使って予測し、「選抜メンバーとなる上位16人中15人」（順不同）を的中させた会社がある。株式会社ルグランである。今回は同社が「アイドルグループ・ブレイクの法則」について、クチコミデータ（ブログ）とブレイクとの相関関
東日本大震災ビッグデータWS project 311に参加する その１ - Fire and Motion
(2012/9/19 22:51追記 url切れが多かったは間違いだったので修正．奥村先生の分析結果と数が合わないのはもう一度チェックする！) (2012/9/20 14:24追記 1tweetに複数以上のurlが含まれていても1つしか抽出していなかったので修正．奥村先生の抽出結果の数字とほぼ同じオーダーの数値になったが，今度はこちらが10〜20程度多いものがある…なぜ…？) (2012/9/20 22:05追記 奥村先生とのツイート数のずれはURLの後ろに付いた#が原因であることが判明．詳細は奥村先生のtwitter分析のページに記載されています） Googleが幹事となり，朝日新聞社，JCC，Twitter Japan，日本放送協会，本田技研工業，レスキューナウ，ゼンリンデータコムによる8社が2011年3月11日前後のデータを公開して，当時何が起こったのか，震災時に必要なサービスは何か
ビッグデータに飛びつく前に理解しておきたいデータ分析手法：日経ビジネスオンライン
気になる記事をスクラップできます。保存した記事は、マイページでスマホ、タブレットからでもご確認頂けます。※会員限定 無料会員登録 詳細 ｜ ログイン 最近、ビッグデータが注目をあつめている。大規模記憶装置としてのデータウエアハウスとコンピューターの計算能力の急速な発達に伴って、今まではほとんど不可能に近かった、大量のデータを用い大量の計算を瞬時に成し遂げることが可能になり、経営戦略そのものに多大な影響を与えるようになった。 自社に蓄えられた膨大な顧客のデータをなんとか新たな購買力に結びつけるアイディアを出せと、部下に檄を飛ばしたり、ビッグデータを標榜するコンサルティング会社に相談を持ちかけたりしている経営者も多いのではないかと思う。今回は、そういった経営者の方々や、ビッグデータに何らかのかかわりを持つ方に、ビッグデータに飛びつく前に、これだけは念頭に入れておいて頂きたい2、3の重要事項を述
Hadoopの現実解「バッチ処理」の常識をAsakusaで体得
Hadoopの現実解「バッチ処理」の常識をAsakusaで体得：ビッグデータ処理の常識をJavaで身につける（7）（1/4 ページ） Hadoopをはじめ、Java言語を使って構築されることが多い「ビッグデータ」処理のためのフレームワーク／ライブラリを紹介しながら、大量データを活用するための技術の常識を身に付けていく連載 “ビッグデータ”時代の「バッチ処理」 アプリケーション開発というと、システム利用者に一番近い画面系の開発が花形ですね。一方「バッチ処理」というと、何となく地味な感じがしますが、「バッチ処理」は縁の下の力持ち、これがないと、大概のシステムは稼働できません。 絶対に必要だけど、影の薄い「バッチ処理」でしたが、“ビッグデータ”への注目度が高まり、大量データを短時間に処理する「並列分散処理バッチ」が活躍する場面も増えてきました。 本稿では、並列分散で「バッチ処理」を行う方法につい
Dempsy:ビッグデータを処理する新しいリアルタイムフレームワーク
ビッグデータのリアルタイム処理は、今日最も話題性のあるトピックの１つのようだ。Nokiaは新しいオープンソース製品、Dempsyをリリースしたばかりである。Dempsyは、Storm, Esper, Streambase, HStreaming,Apache S4と同類である。ソースコードがApache 2ライセンスのもとでリリースされている。 Dempsyの狙いは、大量の”ほぼリアルタイムな”ストリームデータを可能な最小の遅れで処理する問題を解決することである。待ち時間がより重要な この類の問題には、以下の様なユースケースがある。 広域に分散したシステムをリアルタイムに監視する ソーシャルネットワーク データの完全でリッチなストリームを処理する 広域分散システムから生成されたログ情報をリアルタイムに分析 地球規模でリアルタイムに車両トラフィック情報を統計的に分析 Dempsyの重要な特性
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
LINE 執行役員 葉村より、LINEの広告事業が目指す「CHANGE」 - ブログ | LINE Biz-Solutions
（ギークだけでなく）誰もがビッグデータを気にすべき理由
TechCrunch | Startup and Technology News