ヤフーがサーバー4000台でHadoop活用
ヤフーは、ビッグデータの分析基盤を4000台のサーバーを使って構築した。ポータルサイト「Yahoo! JAPAN」から得た様々な情報を、分散処理ソフト「Hadoop」で分析し、レコメンデーションやターゲティング広告などに役立てる。サーバー間でやり取りする大量のトラフィックに耐えられるように、大規模イーサネットの構築技術「イーサネットファブリック」を導入。2014年2月より順次、サービス部門が利用を開始している（図）。 検索やオークション、地図やニュース、不動産や旅行といったコンテンツを提供するYahoo! JAPAN。月間556億（2013年7～9月の平均）に及ぶページビューから生み出される広告ログや購買履歴には宝が眠っている。数千台のサーバーでデータ分析するが、実現の鍵はネットワークが握っていた。 従来のL2/L3ネットワークで構築した分析基盤では、接続可能なサーバーは1500台が限界だ
MongoDBがHadoopとの統合強化。HiveでMongoDBデータへSQL問い合わせ可能、BSONをHDFS上に保存など
Integration of Hadoop and MongoDB, Big Data’s Two Most Popular Technologies, Gets Significant Upgrade | 10gen, the MongoDB company MongoDB Connector for Hadoopは、Hadoopへの入出力データとしてMongoDBを使えるようにするソフトウェアで、新バージョンでは主に以下の機能が追加されています。 Apache HiveからMongoDBのデータへSQLライクな問い合わせ インクリメンタルなMapReduceジョブのサポートによる、アドホックな分析を容易に実現 MongoDB BSONファイルをHadoop Distributed File System（HDFS）上に保存することで、データの移動を削減 これにより以下のようなメリットが
Hadoop、NoSQL、PostgreSQL、インメモリDB--2013年ビッグデータ技術の注目ポイントはデータベース - builder by ZDNet Japan
2013年がスタートしてすでに1週間が過ぎた。 その間、すでに多くの識者の方がさまざまなメディアで「2013年のITはどうなる！？」的な記事を書かれているので今さら感が強いのだが、2012年最大のバズワードであり、引き続き注目度の高い「ビッグデータ」を支える技術が2013年にどう変わっていこうとしているのか、ビッグデータを語るときに欠かせないデータベースの話題を中心にまとめてみたい。 分散システムとしてのHadoopの地位は不変？ 現在のビッグデータトレンドを支える根幹の技術といえば、やはりApache Hadoopだろう。同じくオープンソースのHive、Pig、Zookeeperなどで構成されるエコシステムに加え、エンタープライズでの利用に最適化されたCloudera、MapR、Hortonworksなどサードパーティによるいくつものディストリビューションが存在し、国内外を問わず大規模な
SQLでHadoopを使う、「Impala 1.0」登場
ClouderaはSQLでインタラクティブにビッグデータの操作を可能にする新しいプロダクト「Cloudera Impala 1.0」を公開した。Hadoop関連技術をSQL経由で操作するためのプロダクトは現在いくつかのものが開発段階にあるが、プロダクションレディーの品質でメジャーリリースが実施されたのは「Cloudera Impala 1.0」が初となる。 大規模データの処理、いわゆるBig Dataの処理に関してはHadoop関連技術が注目されており、いくつかの企業がHadoop関連技術をベースにプロダクトを開発している。Clouderaはそうした企業の中でも代表的な企業のひとつ。ほかのプロジェクトに先駆けて「Cloudera Impala 1.0」を発表することで、同開発分野において主導権を取りたい狙いがあるものとみられる。 Cloudera Imparaを使うと、Hadoop関連技術
MySQL→Hadoop移行でビッグデータの威力を引き出すゲームサイトKing.com
スウェーデンの無料のオンラインゲームサイト「King.com」は、主にFacebookから流入するビッグデータに対応するため、データアーキテクチャを刷新した。 世界最大のカジュアルソーシャルゲームサイトであるとうたうKing.comは、2003年に設立。『Bubble Witch Saga』や『Candy Crush』などのゲームを提供している。6000万の登録ユーザーを擁し、毎月のゲームプレイ回数は50億を超えるという。 King.comは150タイトル以上の無料ゲームを取りそろえ、ブーストやライフ追加などゲーム内商品と広告売上から収益を得ている。 同社のデータウェアハウス担当ディレクターであるマッツォロブ・エリクソン氏は、Facebookのゲームから流入するデータ量が増大し、それまで使っていたMySQLデータベースでは対処できなくなったと説明する。1日当たり100万ユーザーなら十分に対
fluent と hoop を使って HDFS にリアルタイムにログを流す - tester7のブログ
概要 複数台のWebサーバのログを fluent と hoop を使ってリアルタイムにHDFSに追記していくテスト。 より頻度の高い行動解析を行うことができるようになる？ 参考にしたブログ： tagomorisのメモ置き場 テスト構成 # 初めてテキストで図書いた。 # 線を交差させる所で面倒くさくなって適当に... web01 server fluent master +---------+ +---------+ | Fluentd |--+--->| Fluentd |--+ +---------+ |+-->+---------+ | Proxy || +-->+--------+ +--------+ || | hoop |-->| HDFS | web02 server || fluent slave +-->+--------+ +--------+ +---------+
ログ解析についてつらつらと考えていること - wyukawa's diary
ログ解析についてつらつらと考えていることを書いてみたいと思います。 Hadoopを用いたログ解析によってマーケティングを変革し売り上げを向上させようという話はよくあります。 この手の話はたいていBtoCで例としてはメールでレコメンドして商品を買ってもらうとかですね。 ログ解析がどういうフローかというと、ログを埋め込んでログを収集して蓄積して解析してそのレポートを見て何らかの施策を打つ、という感じになります。 図にするとこんな感じ 今話題沸騰中の「Fluentd」はログ収集を担当します。といいつつ僕自身はFluentd使ったことないです。記事を読んだくらいです。 ちなみにどれぐらい話題沸騰中かというとこれぐらい定員オーバーしてます。すごすぎ。 クレジットカード現金化詐欺【業界人が教える口コミ情報】 ログ埋め込みはJavaならLog4j使って埋め込んだりするでしょう。 Apacheのアクセスロ
今さら聞けないHadoop勉強会 第1回に参加してきた - Diary of absj31
1月19日 今さら聞けないHadoop勉強会 第1回(東京都) ちょっと書くタイミングを逸したので今件に関してはスライド参照のみで割愛。 (25) 今さら聞けないHadoop View more presentations from Toru Takizawa 替わりと言っちゃあ何だが、主だった各種リンクをざっくりまとめてみた。今後の学習の参考にして行きたいと思います。 公式・概要 Welcome to Apache™ Hadoop™! Hadoopユーザー会 Hadoop - Wikipedia 基礎・入門 Welcome to Apache Hadoop! いまさら聞けないHadoopとテキストマイニング入門 (1/3) - ＠IT MapReduceのJava実装Apache Hadoopを使ってみた (1/3) - @IT Hadoop、hBaseで構築する大規模分散データ処理シス
ログ解析飲み会 - wyukawa's diary
10/19（水）に都内某所でログ解析飲み会なるものを開催した。 ログ解析飲み会なのにログが無いってどういうこと？と某氏に突っ込まれたので酔っぱらいの記憶をたよりに書いてみる。ここには書けないオフレコ話も多々あったように思うが忘れたので書かない。 またここに書くことは僕の脳みそで理解した部分に限るが、誤解が含まれている可能性はもちろんあるので変なことを書いていたら指摘していただけると幸いである。 で、この飲み会を開いた経緯としてはですね、僕自身がHiveを用いたログ解析をするようになって他の人の現場寄りの話を聞きたいなーと思ってTwitterで絡んでいたら大物がきたので開催した次第である。大物が誰かはマル秘事項である。一人じゃないとだけいっておこう。 世の中的にも主にWeb業界でHadoopでのBI案件が広まるにつれて、Hive, Pig, Hadoopストリーミング, 生MapReduce
Hadoop and subsystems in livedoor #Hcj11f
This document discusses livedoor's use of Hadoop for large-scale log analysis and web analytics. It describes their Hadoop cluster configuration with 10 nodes and 36 cores. It also outlines their use of Scribe for log delivery, Scribeline as a lightweight Scribe agent, and Shib, a Hive client web application for running queries from a web browser.Read less
Hadoop MapReduce デザインパターン - 急がば回れ、選ぶなら近道
Amazon CAPTCHA Hadoop MapReduce デザインパターン の監修という事をさせたもらったので その内容とかについてですね。 まず、元の本はこれです。 http://www.amazon.co.jp/Data-Intensive-Processing-MapReduce-Synthesis-Technologies/dp/1608453421/ref=sr_1_1?s=english-books&ie=UTF8&qid=1316817977&sr=1-1 著者のJimmy Linは 現在Clouderaに所属と聞いています。 （が、割と所属不明な感じみたいです。） 現実にClouderaのトレーニングの内容は 特にアプリサイドの、かなりの部分を この本の内容に準拠していました。 なので、Hadoopを利用する際には ほぼ必須の書籍と見ていいと思います。 この本の特長と
Hadoop MapReduce デザインパターン
TOPICS Database , Java 発行年月日 2011年10月 PRINT LENGTH 210 ISBN 978-4-87311-512-2 原書 Data-Intensive Text Processing with MapReduce FORMAT PDF 大量のデータにアクセスすることによって、商業、科学、コンピューティングといった様々な分野において新たな機会が生み出されています。MapReduceは、巨大なデータセットに対する分散処理を実行するプログラミングモデルであり、安価なサーバーからなるクラスタ上で大規模データの処理を行うためのフレームワークです。 本書は、自然言語処理、情報抽出、機械学習などに共通する、テキスト処理のアルゴリズムに重点を置きながら、MapReduceのアルゴリズム設計について解説します。またMapReduceのデザインパターンの概念を説明し、様
"Hbase at Facebook" に行ってきた - たごもりすメモ
名称表記が揺れてて微妙だけど Hbase at FaceBook on Zusaar このイベントに行ってきた。Facebookの人は "HBase Tokyo meetup" と認識していたようだ。 内容のまとめはやらないので、以下の各ページなどをご覧になると良いのではないでしょうか。 Tokyo HBase Meetup - Realtime Big Data at Facebook with Hadoop and HB… Hbase at FaceBookのまとめ - Togetterまとめ FacebookがHBaseを大規模リアルタイム処理に利用している理由（前編） － Publickey FacebookがHBaseを大規模リアルタイム処理に利用している理由（後編） － Publickey セッションの内容と自分が考えたことと人としゃべったことをいっしょくたにここに書いておく。
Hadoop Conference Japanに参加しました #hcj2011 - nokunoの日記
というわけでHadoop Conference Japanに参加しました。Hadoop Conference Japan 2011会場は豊洲のNTTデータ本社で、初めて来たのですが駅前の広場が楽天のある品川シーサイドと全く同じでびっくりしました。 『Hadoop on クラウド / Amazon Elastic MapReduceの真価』（Amazon Web Services, Jeff Barr） Introduction AWS: 2002-Twitter: @jeffbarr What is Big Data Doesn't refer just to volume Big Data Tool EMR Overview Hadoop Hosting Framework Launch and monitor job flows: Web, CUI, REST Upload data
『モバゲーの大規模データマイニング基盤におけるHadoop活用』－Hadoop Conference Japan 2011－ #hcj2011
『モバゲーの大規模データマイニング基盤におけるHadoop活用』－Hadoop Conference Japan 2011－ #hcj2011 2011/02/22 [登壇後エントリ] ：" 「モバゲーの大規模データマイニング基盤におけるHadoop活用」－Hadoop Conference Japan 2011 #hcj2011 で登壇してきました " http://d.hatena.ne.jp/hamadakoichi/20110222/p1Read less
Hadoopの可用性について（私訳） - developer’s delight
この記事はClouderaのBlogの記事”Hadoop Availability | Apache Hadoop for the Enterprise | Cloudera”の私的翻訳です。Hadoopの可用性については興味のある方も多いと思いますので、読むついでに訳してみました。勢いで訳したので質に関しては責任を持てませんのでよろしくお願いします。間違いなどがありましたらご指摘いただければ助かります。(id:kkawamura)Apache Hadoopのメーリングリストでよくある質問は、可用性を保つためにどうするか？というものです。この記事では、Hadoopのコンテキストでの可用性について見ていき、進行中の開発の方向性を示します。背景Hadoopの可用性を議論するとき、人はよくNameNodeがHDFSにおいて単一故障点であるため、NameNodeから話をはじめます。そしてHadoo
Hadoopを使いこなす(1)
まず、 1 の入力ファイルを分割する方法は、InputFormatクラスの、getSplits関数を上書きすることで、カスタマイズできます。 また、 3 のInputSplitから、KeyとValueを抽出する処理も、InputFormatクラスを通じてカスタマイズできます。 InputFormatのgetRecordReader関数を通じて、RecordReaderクラスを生成するのですが、これに任意のRecordReaderクラスを指定すればOKです。 2 のMap処理ですが、ユーザが指定したMapperクラスの処理を実行します。 Mapperクラスは、MapRunnerクラスを通じて、初期化処理、map関数を繰り返す過程、終了処理といった一連の流れを実行します。 MapRunnerクラスをカスタマイズすれば、こうした流れを制御することができます。 0.20.0からの新しいMapRed
Hadoop
TOPICS Database 発行年月日 2010年01月 PRINT LENGTH 568 ISBN 978-4-87311-439-2 原書 Hadoop: The Definitive Guide, First Edition FORMAT 本書は、Hadoopの基礎から応用までを包括的に解説する書籍です。はじめに、Hadoopの分散ファイルシステムHDFSやI/Oの効率化の仕組みなど、Hadoopの基礎を説明し、なかでもMapReduceについて詳しく解説します。MapReduceのアプリケーションを開発するために必要なステップを一通り紹介し、さらにユーザの目から見てMapReduceがどう実装されるのかを詳述します。後半ではHadoop管理者のために、HDFSとMapReduceを実行するためのHadoopクラスタの立ち上げと管理の方法を紹介。さらにPig、HBase、ZooK
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://infra-engineer.com/hadoop/hadoop-conference-japan-2011-fall%E3%81%A7%E4%BD%BF%E7%94%A8%E3%81%95%E3%82%8C%E3%81%9F%E8%B3%87%E6%96%99%E3%82%84%E3%81%A4%E3%81%B6%E3%82%84%E3%81%8D-hcj11f/
ウルシステムズ、基幹バッチを高速化するHadoopフレームワーク「Asakusa」