データ分析環境について書いてみる - wyukawa's diary
ログをHDFSに集めてHiveでETLや集計を行い集計結果をRDBMSに蓄積してレポーティングツールで可視化するというのは一般的な話だと思います。 データの流れでいうと App -> HDFS -> RDBMS -> レポーティングツール という感じです。 他にもPrestoのようなlow latencyなツールが加わることがあると思います。これらのツールをどう組み合わせてどうETLをまわしていくのがいいのかつらつらと最近考えております。 僕が経験したのはPythonでETL処理を書いて（内部的にはhiveserverにhiveクエリを投げたり、MySQLに集計結果を保存したり）、スケジューリングはcron, Azkabanで、集計結果はMySQLでレポーティングツールは自作でというものです。adhocなデータ分析はshib使います。まあこれでも十分運用回ってるんだけど、他にも良い方法が無
ビッグ・データを操る者が勝つ
統計数理研究所 所長 樋口知之 データ集約型科学という科学的探究手法が、科学の世界のみならず、ビジネス社会でも注目されている。基本方程式を理論解析や計算機シミュレーションで解く演繹的な手法ではなく、ビッグ・データ（莫大な量のデータ）から課題を見つけ出しモデル化することによって、よりよい予測を行ったり、新しい法則を見つけ出したりする帰納的な手法である。科学の「第四のパラダイム」として学問領域を超えて人類に新しい価値をもたらすと期待され、統計学と社会とのつながりがきわめて重視される時代が到来している。 データ集約型科学は、すでに一九九〇年代に日米欧で研究が始まり、その黎明期において日本も大きく貢献した。当時私が研究していた人工衛星データはビッグ・データの走りであり、その後、ヒト・ゲノム計画で膨大なゲノム・データが獲得された結果、地球・宇宙科学と生命科学の両分野で先行して、ビッグ・データの解析手
Hadoopでレコメンドシステムを作ろう 記事一覧 | gihyo.jp
運営元のロゴ Copyright © 2007-2024 All Rights Reserved by Gijutsu-Hyoron Co., Ltd. ページ内容の全部あるいは一部を無断で利用することを禁止します。個別にライセンスが設定されている記事等はそのライセンスに従います。
第14回 データマイニング+WEB 勉強会＠東京( #TokyoWebmining 14th)－大規模分散データマイニング 祭り－ を開催しました - hamadakoichi blog
2011/10/16 "第14回 データマイニング+WEB 勉強会＠東京"を開催しました。 第14回 データマイニング+WEB 勉強会＠東京 ( #TokyoWebmining 14th)−大規模分散データマイニング 祭り−: Eventbrite Google グループ 会場提供し運営を手伝って下さった ニフティ株式会社 のみなさん、どうもありがとうございました。素敵なトークを提供してくれた講師メンバーに感謝します。会場参加、USTREAM参加ともに多くの方々の参加を嬉しく思っています。 参加者ID・バックグラウンド一覧： 以下、全講師資料、関連資料、ツイートまとめです。 AGENDA： ■Opening Talk： O1.「データマイニング+WEB勉強会＠東京 について」(10分) 講師 ： id:hamadakoichi [Twitter:@hamadakoichi] オープニングト
Mahout Recommendation - #TokyoWebmining 14th
Koichi HamadaSenior Staff Research Engineer, Artificial Intelligence at DeNA
邦訳「Collective Intelligence vs. The Wisdom of Crowds」
邦訳「Collective Intelligence vs. The Wisdom of Crowds」 この文章はHenry Jenkinsによる「Collective Intelligence vs. The Wisdom of Crowds」を塚本牧生が日本語訳したものです。原文と同じく、Creative Commons - Attribution（表示）ライセンスで公開します。 つい最近までこのCMSスタッフの一員で現在はMicrosoftで働いているDavid Ederyが、Game Tycoonという彼のブログで、現実の世界の問題を解決するのにゲームがどのように「群衆の知恵（wisdom of crowds）」を利用できるかという、興味深い議論を行っている。これは彼がここしばらく展開している考えだが、わたしは最近ようやく彼の議論の全てを読み通す機会を得た。James Surow
解析者として僕が大事にしていること - doryokujin's blog
あけましておめでとうございます。@doryokujinです。今回は技術的な内容ではなく、フロントの解析者・アナリストとして僕が大事にしていること・日々感じていることを書きたいと思います。 このエントリーのきっかけは、最近多くの方から以前の10月に書いたエントリー「解析者の立ち位置」について僕が思うこと。に対して多くの共感のコメントを頂いた事です。この事で僕は今年も解析者として変わらぬ信念を持って、今いっそうの努力を続けていけばよいのだ、やるしかないという決意をもつことができました。コメントを寄せて頂いた皆さん、どうもありがとうございました。 解析者として僕が大事にしていること ここ数年においては、データが大量に蓄積されてきており、それを解析・マイニングするデータ解析者の重要性が理解されるようになってきているように感じています。それは解析者にとって非常に喜ばしいことでもあると同時に、大きなプ
Facebookの新しいリアルタイム解析システムとは？ - nokunoの日記
Facebookの新しいリアルタイム解析のシステムでは、HBaseで1日200億件のイベントを処理しているそうです。以下の記事の翻訳です。High Scalability - High Scalability - Facebook’s New Realtime Analytics System: HBase to Process 20 Billion Events Per DayFacebookがまたやってくれた。彼らは巨大なリアルタイムデータのストリームを処理するもう1つのシステムを構築したのだ。以前にもFacebookはリアルタイムなメッセージシステムをHBaseで構築している(http://highscalability.com/blog/2010/11/16/facebooks-new-real-time-messaging-system-hbase-to-store-135.ht
HadoopとMongoDBを活用したソーシャルアプリのログ解析
The Ring programming language version 1.7 book - Part 47 of 196Mahmoud Samir Fayed
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Hadoopを用いた大規模ログ解析