The Data Lake Dream
Where is big data heading? In 2013, I spent a lot of time talking about Hadoop's development towards being a central destination for data. Hadoop may enter an organization for a specific use case, but data attracts data. Once in the door, Hadoop tends to become a center of gravity. This effect is amplified by the appeal of big data being not just about the data size, but the agility it brings to a
ビッグデータビジネス利権をめぐる相も変わらぬ”官僚たちの夏”
「視点をクリアにする情報誌 月刊サイゾー」の記事がウェブ上で読める「サイゾーpremium」の記事から、ユーザーの反響の大きかった記事をピックアップしてお届けします。 ビッグデータという言葉に踊るのは、何も民間企業ばかりではない。”官”も、ビッグデータを利権拡大のチャンスと見て、多くの取り組みを始めているのだ。 安倍政権が13年6月に公表した「世界最先端IT国家創造宣言」という文書がある。これは、成長戦略の中でITをどのように位置付けるのかを明らかにしたもので、安倍政権がITをどのように活用して経済を活性化させていこうとしているのかが示されている。この中でビッグデータは、イノベーションを実現する重要な要素とされており、企業がビッグデータを利用しやすい環境作りを推進すると明確に記されている。 内閣の政策として定められたことで、「オープンデータの推進」と「パーソナルデータの利用環境の整備」に関
西内啓 × 田中幸弘 × 山本一郎 ビッグデータを語り倒すの巻（1）「ビッグデータは幻想なのか？」 | AdverTimes.（アドタイ） by 宣伝会議
第一回「ビッグデータは幻想なのか？」（今回の記事） 西内さん、田中さんのプロフィールはこちらから 第二回「データサイエンティストって、ぶっちゃけどうなの？」（掲載中） 第三回「パーソナルデータで広告界の地殻変動は起きるか？」（掲載中） データを意識し始めた広告業界は「腹の探り合い」状態 山本：2013年は「データと社会」というテーマについて、地に足のついた議論がされ始めた年でしたよね。何より、西内さんの著書『統計学が最強の学問である』がベストセラーになったっていうのは大きなトピックスだった。統計学を一般の人も使いこなせるんだ、というような議論をこれまでしてこなかったわけですからね。 西内：ありがとうございます（笑）。 山本：ずっとね、私もこのテーマで議論できる機会を待ってたんです。ようやくアドタイで実現したということで、今日は色々とお話うかがっていきたいと思います。 西内：こちらこそ、よろ
Treasure Data - naoyaのはてなダイアリー
少し前にログの話を書いた http://d.hatena.ne.jp/naoya/20130219/1361262854 ときに、Treasure Data については後日にもう少し詳細に書くと言ったので書くとしよう。 近頃 Treasure Data (以下、時折 TD) という名前をちらほら聞いたことがある人は多いのではないかと思います。「ビッグデータのクラウドサービスである」とか「日本人が創業したシリコンバレーのベンチャー」、あるいは Yahoo! 創業者の Jerry Yang が投資したとか、Fluentd と何か関係があるといった文脈などなど。 けど、具体的に Treasure Data がどういうサービスで、どういう機能を持っていて、どんな場面で利用されるものなのかはまだあまり良く知られていないかもしれない･･･ようにも見える。今日はその辺から少し紹介していこうかなと思う。
［CD 2013］「ビッグデータで新事業創出、官民で日本の競争力底上げ」、経産省・NTTドコモ・タニタが議論
2013年2月28日まで都内で開催した「Cloud Days Tokyo/ビッグデータEXPO/スマートフォン＆タブレット」（主催：日経BP社）で、「ビッグデータによる新ビジネス創出」と題したパネルディスカッションが行われた（写真1）。経済産業省 情報経済課課長の佐脇紀代志氏、NTTドコモ 法人ビジネス戦略部長の松木彰氏、タニタヘルスリンク 社長の坂井康展氏が、官民の立場からビッグデータを活用した日本の競争力強化について活発な議論を交わした。モデレーターは野村総合研究所 コンサルタントの鈴木良介氏が務めた。 ディスカッションはデータを軸にした新ビジネスの創出に絞って進められた。まず経産省の佐脇氏が「データ活用の巧拙が企業の競争力を決める時代となった」と指摘。現在同省で進めている、異分野の企業や団体が連携することによる新ビジネス創出を目指す「IT融合」について説明した（写真2）。「（政府や自
東日本大震災ビッグデータワークショップ - Project 311 - - 報告会
10 月 28 日に開催した報告会の情報をまとめました。 各カテゴリーのページにて、概要やスライド、動画をご覧頂くことができます。 被災地における情報 津波被災における避難実態の可視化 位置情報付き tweet による被害状況の逐次把握可能性の検討 災害データの意味 - データから見えるもの、データでないと見えないもの、データでは見えないもの 仙台で必要とされた情報そして流れた情報 茨城県つくば市における地域情報発信の様子を振り返る試み 災害時における不足物資支援についての検討 道路・交通関連情報の読み解きの一考察 Twitter からの被災時の行動経路の自動抽出およびその信憑性の検証 Twitter 上の災害情報 大震災の解釈に際する地域差異と時系列変化－Twitter データの社会心理学的分析 Twitter emotion analysis in Tohoku earthquake
日立・博報堂、ビッグデータで提携 解析・助言受注 - 日本経済新聞
日立製作所と博報堂は「ビッグデータ」と呼ぶ膨大な情報の解析事業で提携し、販売促進策などの助言まで一貫して請け負うサービスを4月に始める。日立が技術やシステムを提供してデータを解析。博報堂が独自データを加味し、それぞれの商品に合わせたマーケティング手法を提案する。顧客企業が求めるサービスを低コストでまとめて提供することで、ビッグデータの活用に消極的だった中堅・中小企業の需要を取り込む。ビッグデー
ビッグデータは官能の追求へと向かう：日経ビジネスオンライン
高田 広太郎 Diixi Pte. Ltd. 執行役員 前職は野村総合研究所。電機、情報・通信産業の顧客を対象に、事業のグローバル展開や新規事業を生み出す支援のプロフェッショナル。 この著者の記事を見る
機械学習と自然言語処理とビッグデータ - Preferred Networks Research & Development
岡野原です。 情報処理学会主催の連続セミナー「ビッグデータとスマートな社会」での機械学習の回、自然言語処理の回での講演資料を公開しました。 今年はビッグデータという言葉が広まったということで、このテーマで話す機会が多かったです。今はビッグデータというとそれを支えるインフラ、クラウド、DBなどがまず注目されていますが、我々としては実際それを使って何をするのか、何が実現できるのかというところを注目しています。 PFIは元々こうしたデータを分析して価値を提供する（検索エンジンとかもその範疇に入ると思います）ことをずっと続けてきたわけですが、ビッグデータという言葉が広まってくれたおかげでこの考えがより受け入れられ様々な業界の方と随分と話がしやすくなったと思います。 以下の講演資料では、今ビッグデータの中でも機械学習と自然言語処理の分野において我々がどこに注目しているのかを話をしました。
Jubatusを公開しました - Preferred Networks Research & Development
先日、NTTと共同研究開発したJubatusを公開しました。 OSSで公開されてますので、興味がある方は使ってみるなり、ソースコードを眺めるなり、できればプロジェクトに参加していただけたらと思います。 Jubatus（ユバタス）は、大規模分散上でリアルタイムで機械学習を行うためのフレームワークです。 このプロジェクトは元々、機械学習やデータ解析が好きなPFIと、ネットワークやシステム運用実績が豊富で技術力があるNTT情報流通プラットフォーム研究所と組んで何かできないかということで始めました。 「大規模分散」＋「リアルタイム」＋「深い解析」という三つの特徴を持った上でデータを分析するためにどのようなアーキテクチャが考えられて、その上でどのような解析ができるのかというのを日々試行錯誤して作っています。 今回はリリース第１段ということで、手法としては分類（教師有学習の多クラス分類）に絞ってOSS
A Python Compiler for Big Data
Continuum Analytics Python Visualization and Data Exploration Home Products Python for Big Data Anaconda Wakari Downloads Open Source Services Consulting Support Documentation Training Overview Practical Python Programming Python for Finance Company About Us Our Team Careers Blog In the News NumFocus Open Source Contact Us Blaze is the next generation of NumPy, Python’s extremely popular a
MapReduceできる10個のアルゴリズム - データサイエンティスト上がりのDX参謀・起業家
HadoopとMahoutにより、ビッグデータでも機械学習を行うことができます。Mahoutで実装されている手法は、全て分散処理できるアルゴリズムということになります。Mahoutで実装されているアルゴリズムは、ここに列挙されています。論文としても、2006年に「Map-Reduce for Machine Learning on Multicore」としていくつかのアルゴリズムが紹介されています。 そこで今回は、（何番煎じか分かりませんが自分の理解のためにも）この論文で紹介されているアルゴリズムと、どうやって分散処理するのかを簡単にメモしておきたいと思います。計算するべき統計量が、summation form（足し算で表現できる形）になっているかどうかが、重要なポイントです。なってない場合は、”うまく”MapReduceの形にバラす必要があります。 ※例によって、間違いがあった場合は随時
“統計の基礎を無視している”Hadoop使いが考えるビッグデータ
Hadoopをバッチ処理の高速化に活用しているノーチラス・テクノロジーズは、ビッグデータのブームに真っ向から異論を唱える。「ビッグデータは中身のないバズワード」と断言する代表取締役社長 神林飛志氏に、その真意を聞いた。 Hadoop＝ビッグデータは大きな誤解 ノーチラス・テクノロジーズは、基幹系システム向けのミドルウェアを手がける国産ベンチャー。Webサービスのように決して派手ではないが、「そもそもダウンすると、飛行機が飛ばないとか、病院で人が死んでしまうとか、電車が動かないとか、生活に影響が出る分野」（神林氏）という、まさにミッションクリティカルな領域のITで、同社の製品は活用されている。 同社の「Asakusa Framework」は、Hadoopを活用した分散処理により、基幹系バッチの高速化を実現する。神林氏は、「Hadoopというと、WebやSNS系、BIやデータ解析での使い方がメ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://www.liebertpub.com/toc/big/1/1
http://download.jubat.us/event/handson_01/
https://jp.techcrunch.com/2012/10/31/20121027big-data-right-now-five-trendy-open-source-technologies/