漢方、民俗学でも活用されるビッグデータ
今や「流行語」とも言えるビッグデータだが、「また、ITの何か？」程度の知識の人は少なくないはず。 ところが、実はビッグデータが流行する前から「ビッグデータ的なもの」は生活の中にいくつもあった。 ビッグデータの活用とは、「データマイニング（Mining＝採掘、鉱業）」と呼ばれるように、大量の情報の中から有用な事実を発見することだ。 データマイニングでは、結果のみが重視される。英・エコノミスト誌のケネス・クキエ記者、オックスフォード大学のビクター・マイヤー＝ショーンベルガー教授が著した『ビッグデータの正体』（講談社）によれば、「結果が分かれば理由はいらない」とある。つまり、因果関係ではなく、相関関係に注目するのがビッグデータ活用のポイントである。相関関係を導き出すには、統計学の手法が使われるが、身近な例から「文系でも分かる」ビッグデータ的なものを紹介する。 治療の個別化 その先にあった漢方 「
Suica履歴、販売していた…乗客に説明せず : 社会 : YOMIURI ONLINE（読売新聞）
約４３００万人が利用するＩＣカード乗車券「Ｓｕｉｃａ（スイカ）」の乗降履歴が、今月からＪＲ東日本によって市場調査用データとして販売され始めた。 ＪＲ東は「名前などは匿名化している」として、利用者に販売の事実を説明していなかった。国土交通省は個人情報保護法に抵触する可能性がないかＪＲ東から事情を聞く一方、「事前に利用者に説明すべきだった」と注意した。企業の熱い視線がビッグデータに注がれる一方、プライバシー保護については明確なルールがない状態だ。 提供データは、私鉄を含む首都圏約１８００駅の利用者の性別、年齢、乗降日時。定期券として使う客の場合も氏名や住所は除き、ＩＤで個々のデータを識別する。日立製作所が購入し、駅ごとの集客力や客層を分析の上で販売。情報料は最低で年５００万円になるが、「企業のマーケティング戦略に役立ち、需要は大きい」と説明する。
データサイエンティストを目指すなら知っておきたいRパッケージ10個＋α - データサイエンティスト上がりのDX参謀・起業家
元ネタのブログは「10 R packages every data scientist should know about」と「10 R packages I wish I knew about earlier」です。紹介されているパッケージはどれも良いのでメモしておきます。私が「取得した方がいいだろうなー」と思う順番に並べ替えてます。サンプルコードは後者の記事に載ってます。 randomForest：超強力な汎用予測モデル RPostgreSQL, RMYSQL, RMongo, RODBC, RSQLite：各種データベースへの接続 plyr：データ集約 reshape2：データ加工 forecast：時系列予測 stringr：文字列操作 lubridate：日付操作 sqldf：SQLライクなデータ操作 ggplot2：綺麗なプロットを描く qcc：品質管理 個人的には、下の３つは
機械学習と自然言語処理とビッグデータ - Preferred Networks Research & Development
岡野原です。 情報処理学会主催の連続セミナー「ビッグデータとスマートな社会」での機械学習の回、自然言語処理の回での講演資料を公開しました。 今年はビッグデータという言葉が広まったということで、このテーマで話す機会が多かったです。今はビッグデータというとそれを支えるインフラ、クラウド、DBなどがまず注目されていますが、我々としては実際それを使って何をするのか、何が実現できるのかというところを注目しています。 PFIは元々こうしたデータを分析して価値を提供する（検索エンジンとかもその範疇に入ると思います）ことをずっと続けてきたわけですが、ビッグデータという言葉が広まってくれたおかげでこの考えがより受け入れられ様々な業界の方と随分と話がしやすくなったと思います。 以下の講演資料では、今ビッグデータの中でも機械学習と自然言語処理の分野において我々がどこに注目しているのかを話をしました。
データサイエンティストとは？ そのスキル/ナレッジレベル定義の必要性
2012年12月6日（木）に開催されEMCジャパン主催「第2回データサイエンティストワークショップ」での弊社社員の講演資料です。
ビッグデータが推し進めるのは監視社会じゃなく「黙殺社会」だ
アメリカにはクレジットスコアという「信用値」が使われている。クレジットカードの利用履歴などから与えられる偏差値のようなもので、クレジットカードを作ったり住宅ローンを組むときだけでなく、就職や住居の入居などの際にもこのクレジットスコアが信用を測る物差しとして使われている。 しかしアメリカでは最近はもっと刺激的なスコアが登場し、徐々に普及して行っているようだ。それがこのニューヨークタイムズの記事で紹介されている「eスコア」というもの。これは消費者の潜在的な購買力を測り、消費者の価値を査定するというものだ。 いくらクレジットスコアという文化に慣れているアメリカでも、この数値についてはほとんどのアメリカ国民には知られていないという。さすがにおおっぴらに自分の購買力を測定されてしまうということになると、強烈な反発を買うことになるだろう。 だがこのeスコアは多くのスタートアップ企業によって測定が試みら
東日本大震災ビッグデータワークショップ - Project 311 -
2011 年 3 月 11 日の東日本大震災発生時、ソーシャルメディアとマスメディアを通じて大量の情報が広がりました。正しい情報もあれば、様々な噂やデマも飛び交い、情報がいかに重要かを改めて知る良い機会でもありました。では、こうした情報はいったいどのように伝えられたのでしょうか? また、本当に伝えたかった情報がなぜ伝えられなかったのでしょうか? 当時をデータで振り返った時に、本当に必要なサービスは何だったのか、次の災害に備えるために、今我々はどんな準備をすればよいのでしょうか？ 「東日本大震災ビッグデータワークショップ - Project 311 -」 では震災発生から１週間の間に実際に発生したデータを参加者に提供いたします。参加者はそのデータを改めて分析することによって、今後起こりうる災害に備えて、どのようなことができるかを議論し、サービスを開発することができます。 提供データ 3月11
ビッグデータのフュージョンに人類未踏の世界がある―東京大学喜連川優氏インタビュー
―「ビッグデータ」という言葉がIT業界の大きなトレンドとなっています。2004年から「情報爆発プロジェクト」を率いてきた喜連川先生の目から見て、現在のビッグデータを取り巻く状況はどのように映るでしょうか。 確かに、IT系のバズワードではありますが、大変分かりやすい形容詞と名詞を組み合わせた、非常にシンプルな言葉ですね。他のバズワードと同様に消費されていく言葉の1つかもしれませんが、ようやく時代がこのようなシンプルな表現で情報社会を語れるほど、成熟してきたことの表れかもしれません。 2004年に申請し、2005年からスタートした「情報爆発プロジェクト」では、21 世紀に入り人類が生み出す情報量が急激に増大するようになった現象を「情報爆発」と捉え、情報爆発から派生する多様な課題を自ら明確化すると共に、それらに立ち向かい１つずつそのソリューションを考えて行こうというプロジェクトでした。ですから、
Google、Oracle、Microsoft、IBMのビッグデータ対応アプローチ
米Google、米Oracle、米Microsoft、米IBMなど数社のパブリッククラウドプロバイダーは米Amazon Web Services（AWS）を見習い、多面的なオープンソースプロジェクトであるHadoop、MapReduceを利用した「ビッグデータ」分析のトレンドに乗ろうとしている。 クラウドベースのHadoop、MapReduceアプリケーションが登場したのは2009年だ。AWSがElastic Compute Cloud（EC2）とSimple Storage Service（S3）用のWebサービス「Elastic MapReduce」をリリースしたのが最初だ。それに続いてGoogleは2010年半ばに、App EngineのMapReduceツールキットの最初のコンポーネントとなるMapper APIの実験バージョンをリリースした。2011年5月以降は、開発者がGoog
Mapreduce2.0 - 急がば回れ、選ぶなら近道
次世代Hadoopの開発が進んでいる。現状の推移では、少なくとも分散クラウドでの「OSSインフラ」としてはHadoopが最有力候補であることは間違いない。クラウド上での分散処理基盤での技術競争ではGoogleやAmazonが相当抜きんでいる現在、それに対抗しうる可能性があるOSSはHadoopの潮流の延長線上にしか考えられない。その形としてHadoop-MapReduce2.0があるように見える。現在の状態で自分なりの次世代Hadoopの理解をまとめておく。基本的に全部は見切れていないので、そのあたりはあしからず。基本的に次世代Hadoopの仕組みは大きく二つの要素からなる 現在のところの柱はHDFSとMapreduce2.0の二つだ。 まずMapReduce。これは従来の「MapReduce」というものからはほど遠い。むしろ「任意」の分散処理実行フレームワークにたいして、適切なリソースを
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
NHK クローズアップ現代