有料会員向けサービス 朝刊・夕刊:日経電子版日本経済新聞の電子版。日経や日経BPの提供する経済、企業、国際、政治、マーケット、情報・通信、社会など各分野のニュース。ビジネス、マネー、IT、スポーツ、住宅、キャリアなどの専門情報も満載。
Big Data Lambda Architecture
Database Software Development Videos and Tutorials - MySQL, Oracle, SQL Server, NoSQL, MongoDB, PostgreSQL In order to meet the challenges of Big Data, you must rethink data systems from the ground up. You will discover that some of the most basic ways people manage data in traditional systems like the relational database management system (RDBMS) is too complex for Big Data systems. The simpler,
ビッグデータが解き明かす！ももクロ・ブレイクの理由｜【Tech総研】
アイドル戦国時代！ポストAKBとなるのは誰か？ 星の数ほどある（？）アイドルグループの中からAKB48、ももいろクローバーZ、Berryz工房、スマイレージ、東京女子流、私立恵比寿中学を選び、ビッグデータで解明する。 ブログと「ブレイク」との相関関係を探る 「アイドルグループ戦国時代」と呼ばれる現在、彼女たちの方向は2つに分かれる。ブレイクするアイドルと、そうでないアイドルだ。では、その差は何か。さまざまな要因があるとは思うが、ビッグデータを使って解明できないかと考えた。 今年6月に行われた「2012年第4回AKB選抜総選挙」。覚えている人も多いだろうが、この順位をビッグデータを使って予測し、「選抜メンバーとなる上位16人中15人」（順不同）を的中させた会社がある。株式会社ルグランである。今回は同社が「アイドルグループ・ブレイクの法則」について、クチコミデータ（ブログ）とブレイクとの相関関
［ケーススタディ1］AKB総選挙の順位予測
前回で話題に挙げた、2012年6月6日に日本武道館で行われた「第4回AKB48選抜総選挙」。アイドルグループのレギュラー枠などをファン投票から選ぶイベントである。今回は、予測技術に対しての一般の期待と実情とのギャップを、回帰モデル型の予測例としてこの選挙予測を取り上げつつ説明していこう。 ファンのみならず、社会現象としても注目されたこのイベントで、デジタルマーケティングコンサルティング会社のルグランがネットのデータを駆使してレギュラーメンバー上位16人中、15人を的中させ注目を集めた（なお、このプロジェクトでは筆者が所属しているホットリンクもソーシャルデータを提供しており、本記事の執筆に当たり、ルグランの泉浩人代表取締役にもお話を伺っている）。 ＜関連記事＞ ビッグデータ予測が16人中15人的中――AKB48選抜総選挙 この内容を見てみよう。 予測対象 ・AKB48の各メンバーの得票数 予
deissue1.pdf
Bulletin of the Technical Committee on Data Engineering June 2012 Vol. 35 No. 2 IEEE Computer Society Letters Letter from the Editor-in-Chief. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .David Lomet 1 Nominations for Chair of TCDE. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .Paul Larson and Masaru Kitsuregawa 2 Lette
SASもインメモリ技術を推進。ビッグデータ向けに高速処理可能なインメモリ分析エンジンを搭載「SAS Visual Analytics」を発表
SASもインメモリ技術を推進。ビッグデータ向けに高速処理可能なインメモリ分析エンジンを搭載「SAS Visual Analytics」を発表 SAS Institute Japanは、ビッグデータを高速に分析するために、多数のブレードサーバのメモリ上で分散処理を行うインメモリ分析エンジン「SAS LASR Analytic Server」と、この分析エンジンを搭載したデータ探索製品「SAS Visual Analytics」を発表しました。 メモリ上にデータを展開することで高速処理を行うインメモリ技術はデータベースの分野を中心に製品が相次いで登場しています。SASはそのインメモリ技術を、ビッグデータの分析処理に向けた同社の「High Performance Analytics戦略」の柱の1つだと説明。 その第一弾の製品が今回発表したVisual Analyticsとなりますが、その記者発表
米ヤフー、ビッグデータを活用する広告プラットフォーム「Genome」を発表
米Yahooは米国時間5月14日、「ビッグデータの荒野」を行くマーケターが広告のより正確なターゲティングとパーソナライズ化を目指せるよう支援するためのデータ集約型広告システム「Genome」を発表した。 Genomeは、interclickから提供されるサードパーティデータと広告主から提供されるファーストパーティデータをYahooが持つデータと組み合わせ、さらに、あまり構造化されていない膨大な情報から意味を読み取るよう開発されている。ブランド価値を構築するとともにコンバージョン率を高めて売上を増加させるため、Yahooの言う「データエコシステムの混沌」をマーケターが制御できるように手助けすることだけが目的だ。 Yahooのアメリカ地域担当エグゼクティブバイスプレジデントRich Riley氏は、声明の中で次のように述べている。「われわれはGenomeによって、マーケターが顧客情報と顧客イン
Hadoopは統計の基礎を無視しているのか？ - 急がば回れ、選ぶなら近道
http://ascii.jp/elem/000/000/687/687170/ こういう塩梅になった。これでも一応、最初に上がってきたインタビュー記事を訂正して、この状態という感じです。最初のほうはもっと派手だった。まー、さすがに読み手で不快に感じる人もいるだろうし、とはいえ、話したことをつないでいる部分は確かにあるわけで、はてどうしたものかな・・・と思っているうちにリリースになったというのが実態ですね。 えっと、まず読んで不快に思った方は確実にいらっしゃると思うので、その方たちにはお詫び申し上げます。すんませんでした。 その上で真意を書いておくと・・・ まず、Hadoopは統計の基礎を無視しているのか？という問題ですが、基本的にHadoopのBIで飯を食っている人は、いわゆる「データ・サイエンティスト」という職種の人たちにあたる方たちで、当然、統計のプロだ。当たり前の話だが、大抵のHa
“統計の基礎を無視している”Hadoop使いが考えるビッグデータ
Hadoopをバッチ処理の高速化に活用しているノーチラス・テクノロジーズは、ビッグデータのブームに真っ向から異論を唱える。「ビッグデータは中身のないバズワード」と断言する代表取締役社長 神林飛志氏に、その真意を聞いた。 Hadoop＝ビッグデータは大きな誤解 ノーチラス・テクノロジーズは、基幹系システム向けのミドルウェアを手がける国産ベンチャー。Webサービスのように決して派手ではないが、「そもそもダウンすると、飛行機が飛ばないとか、病院で人が死んでしまうとか、電車が動かないとか、生活に影響が出る分野」（神林氏）という、まさにミッションクリティカルな領域のITで、同社の製品は活用されている。 同社の「Asakusa Framework」は、Hadoopを活用した分散処理により、基幹系バッチの高速化を実現する。神林氏は、「Hadoopというと、WebやSNS系、BIやデータ解析での使い方がメ
大量のWebログを分析するシステム、日立製作所が発売へ
日立製作所はWebアクセス解析に必要なプログラムやソフトウェアとサーバをセットにしたシステムを発売する。 日立製作所は5月7日、大量のWebアクセスログデータを分析するためのシステム製品「かんたんHadoopソリューション for ログ解析（QlikView & JP1）」を9日に発売すると発表した。価格は907万4100円から。 新製品は、同社のブレードサーバ「HA8000-bd/BD10」、クリックテック・ジャパンのインメモリ型ビジネス分析ソフト「QlikView」、並列分散処理ソフトの「Hadoop」、OSのRed Hat Enterprise Linux 6.1、運用管理ソフト群「JP1」などをセットにしたもの。 大量のWebアクセスログのデータはHadoopで集約処理し、処理したデータをQlikViewで解析して、多様なグラフで確認できるようになる。データ処理作業の管理などはJP
Dempsy:ビッグデータを処理する新しいリアルタイムフレームワーク
ビッグデータのリアルタイム処理は、今日最も話題性のあるトピックの１つのようだ。Nokiaは新しいオープンソース製品、Dempsyをリリースしたばかりである。Dempsyは、Storm, Esper, Streambase, HStreaming,Apache S4と同類である。ソースコードがApache 2ライセンスのもとでリリースされている。 Dempsyの狙いは、大量の”ほぼリアルタイムな”ストリームデータを可能な最小の遅れで処理する問題を解決することである。待ち時間がより重要な この類の問題には、以下の様なユースケースがある。 広域に分散したシステムをリアルタイムに監視する ソーシャルネットワーク データの完全でリッチなストリームを処理する 広域分散システムから生成されたログ情報をリアルタイムに分析 地球規模でリアルタイムに車両トラフィック情報を統計的に分析 Dempsyの重要な特性
GH Archive
Open-source developers all over the world are working on millions of projects: writing code & documentation, fixing & submitting bugs, and so forth. GH Archive is a project to record the public GitHub timeline, archive it, and make it easily accessible for further analysis. GitHub provides 15+ event types, which range from new commits and fork events, to opening new tickets, commenting, and adding
Data at GitHub
AI & MLLearn about artificial intelligence and machine learning across the GitHub ecosystem and the wider industry. Generative AILearn how to build with generative AI. GitHub CopilotChange how you work with GitHub Copilot. LLMsEverything developers need to know about LLMs. Machine learningMachine learning tips, tricks, and best practices. How AI code generation worksExplore the capabilities and be
人材不足で“取り合い”は必至データサイエンティストなる職種
2012年 ビッグデータ経営革命 「週刊ダイヤモンド」2012年1月28日号・第2特集「2012年 ビッグデータ経営革命」より特別公開！ バックナンバー一覧 「データ様に聞け」 携帯電話向けソーシャルゲームの開発・運用会社、グループスには、そんな標語がある。 ソーシャルゲームにおいて、ユーザーがどのようにゲームを楽しんでいるかというデータは、まさしく利益の源泉といえる。たとえば、全ユーザーのプレー履歴を見て、楽しんでいるヘビーユーザーとやめてしまったユーザーとの傾向を比べる。その結果から、毎日のようにゲームの仕様を変えていくのだ。 「もう少しポイントを撒いたほうがいい」「こちらのページに誘導するよう動線を変えよう」──。各種統計ツールを用いて出した予測結果を基に、開発陣との定例会議や、メールなどで指示を出すのはデータマイニンググループ。リーディングアナリストを務める井澤正志氏は、東北大学理
ビッグデータが生んだ“新型ペットボトル”――JR東日本WBが新商品を開発
JR駅構内の飲料水ビジネスを手掛けるJR東日本ウォータービジネス（JR東日本WB）は1月24日、ペットボトル入り飲料水「フロムアクア」をリニューアルし、3月6日に発売すると発表した。同社の自動販売機4500台で収集した大量のPOSデータを基に新開発した「落ちないキャップ」を採用したのが特徴で、東京郊外に住む女性をメインターゲットとして拡販していくという。 落ちないキャップは、キャップ下部のリングとキャップ本体をバンドでつなぎ、キャップを開けた状態で手を離しても落ちないようにしたもの。同社によると「フロムアクアは移動中に飲まれている場合が多い」という解析結果を基に、「キャップをなくす心配なく片手で飲めるペットボトル飲料」をコンセプトに開発したという。 同社は2009年、駅構内の自販機にSuica決済端末「VT-10」の導入を始め、同時に販売データの収集・解析を開始。2011年には解析効率の向
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
TechCrunch
http://logmania.masakiplus.net/archives/6107
RealTimeFacebook.pdf - Google ドライブ
TechCrunch | Startup and Technology News
Conferences - O'Reilly Media