MPP on Hadoop, Redshift, BigQuery - Go ahead!
Twitterで「早く今流行のMPPの大まかな使い方の違い書けよ！」というプレッシャーが半端ないのでてきとうに書きます．この記事は俺の経験と勉強会などでユーザから聞いた話をもとに書いているので，すべてが俺の経験ではありません(特にBigQuery)．各社のSAの人とかに聞けば，もっと良いアプローチとか詳細を教えてくれるかもしれません． オンプレミスの商用MPPは使ったことないのでノーコメントです． MPP on HadoopでPrestoがメインなのは今一番使っているからで，Impalaなど他のMPP on Hadoop的なものも似たような感じかなと思っています． もちろん実装の違いなどがあるので，その辺は適宜自分で補間してください． 前提 アプリケーションを開発していて，そのための解析基盤を一から作る． 簡単なまとめ データを貯める所が作れるのであれば，そこに直接クエリを投げられるPre
Apache Pig で大規模データセットを分散処理する - Qiita
Apache Pig とは Apache Pig は簡潔に Hadoop でのクエリーを記述することのできる高水準な言語です。 このように高水準な記述で大規模なデータセットを扱えるドメイン固有言語のようなものは他にもいくつかありますが、現時点では Pig はその柔軟さや拡張性という面からかなり優位性が高いのではないかと思います。 種類 説明
リクルートにおけるhadoop活用事例＋α
16. 16 カーセンサー シナリオマーケティング 有用な機能を使いやすい条件を集計/決定木などで特定 次画面名 1000000 100 175000 100 138543 100 449567 100 69201 100 29835 100 7048 100 1 物件詳細 650000 34.44 0 0% 88232 14% 400000 62% 38337 6% 18284 3% 1537 0% 2 離脱 120000 32.78 120000 100% 0 0% 0 0% 0 0% 0 0% 0 0% 3 機能A 78000 11.62 0 0% 33000 42% 10959 14% 6426 8% 3020 4% 308 0% 4 再来訪 55000 8.59 55000 100% 0 0% 1 0% 0 0% 0 0% 0 0% 5 機能B 41000 8.46 0 0% 1
Apache Sqoop - Wikipedia
Apache Sqoop は関係データベースとHadoopの間でデータ転送を行うためのコマンドラインインターフェースアプリケーションである[1]。1つのテーブルまたはより自由度の高いSQL queryによるインクリメンタルなロードをサポートし、同時にupdateインポートのために複数回実行される保存済みジョブもサポートされている。 インポートはHiveやHBase[2] に対して関係データベースからエクスポートするためにも使うことができる。 Sqoopは2012年3月にApacheトップレベルプロジェクトになった[3]。 マイクロソフトはSqoopベースのコネクタをMicrosoft SQL ServerデータベースをHadoopに転送するのに使っている[4]。 Couchbase, Inc.もCouchbase Server-Hadoop connectorwo Sqoopを用いて提供し
Etsyのレコメンデーションを学ぶ - ワザノバ | wazanova
https://codeascraft.com/2014/11/17/personalized-recommendations-at-etsy/ 1 comment | 0 points | by WazanovaNews ■ comment by Jshiike | 約3時間前 Etsyのレコメンデーションエンジンが、同社がオープンソースとして提供している機械学習パッケージ Conjecture （Scalding DSL + Hadoop）に追加されました。大まかな仕組みについては下記の通りです。 作業としては、まず過去データを利用したユーザの興味度合いのマトリックスをつくりモデル化し、次に ユーアごとに興味度合いが最大となるアイテムのセットを見つけるレコメンデーションの計算をする。 データソースとしては数段階のレビューデータではなく、商品アイテムに対するユーザの実際のアクション（お
YARNの登場によりHadoopは複数の並列分散処理エンジンを併用できる環境へ。Hadoop Conference Japan 2014
YARNの登場によりHadoopは複数の並列分散処理エンジンを併用できる環境へ。Hadoop Conference Japan 2014 Hadoopに関する国内最大のイベント、「Hadoop Conference Japan 2014」が7月8日に都内で開催されました。 今回のイベントのとりまとめ役でもある日本Hadoopユーザー会 濱野賢一朗氏は、基調講演の1つとしてHadoopがこれからどう進化しようとしているのか、「Hadoopを取り巻く環境」と題して現状をまとめています。講演内容のダイジェストを紹介します。 Hadoopがきっかけで並列分散システムが普及した 日本Hadoopユーザー会 濱野賢一朗氏。 今回の参加登録者数は1296名。アンケートによると約65％がはじめて参加される方で、これはかなり驚きました。このイベントの参加人数が大きく増えたわけではありませんが、裾野が広がって
「LINE」を支えるHBaseの裏側など、Hadoop Conferenceが開催
オープンソースソフトウエア（OSS）の分散バッチ処理ソフト「Hadoop」のユーザー会「Hadoop Conference Japan 2013 Winter」が2013年1月21日、東京ビッグサイトで開催された（写真1）。スマートフォン向けコミュニケーションツール「LINE」を運営するNHN Japanの中村俊介氏が、LINEのストレージとして利用する「HBase」の運用ノウハウを語るなど、ユーザー企業やHadoop関連ベンダーによる21セッションが行われた。 Hadoop Conference Japanが開かれるのは、今回が4回目。冒頭のセッションでは、Hadoopのオリジナル開発者であるダグ・カッティング氏（Apacheソフトウエア財団会長）がビデオメッセージを寄せ、今後のHadoopの開発方針などを説明した。 Hadoopは、米グーグルが2000年代前半に論文発表した分散ファイル
日々進化するHadoop。これまでのおさらいと最近の動向（後編）
Hadoopとはどういうソフトウェアであり、いまどのような状況になっているのか。NTTデータの濱野賢一朗氏が、先日行われた第2回 NHNテクノロジーカンファレンスで行われたセッション「日々進化するHadoopの『いま』」で分かりやすく解説しています。 （本記事は「日々進化するHadoop。これまでのおさらいと最近の動向（前編）」の続きです） Hadoopの1.0系と2.0系 Hadoopの開発はかなり活発に進んでいます。 Hadoopでいちばん分からないといわれるのがバージョンで、これは以前からHadoopに接している私たちでもよく分からないくらいです。 Hadoopのバージョンには大きく二系統あって、少し前まで0.20系と呼ばれていたもので、これが現行は1.0系と呼ばれています。もうひとつが0.21、0.22、0.23系と呼ばれていたもの、これがいま2.0系と呼ばれています。 対外的には
Facebook、Hadoopのスケーラビリティ問題を解決する、独自の「Hadoop Corona」をオープンソースで公開
Facebook、Hadoopのスケーラビリティ問題を解決する、独自の「Hadoop Corona」をオープンソースで公開 Facebookでは、24時間ごとに0.5ペタバイトのデータが生成され、それらを分析するために毎日6万回以上ものHiveのクエリが実行されているそうです。 こうした大規模処理を行うプラットフォームとして使われているのがHadoop。しかしFacebookはHadoop MapReduceのスケーラビリティに限界を感じており、それを解決するための新しいソフトウェア「Hadoop Corona」を開発、オープンソースで公開しました。 Facebookのページ「Under the Hood: Scheduling MapReduce jobs more efficiently with Corona」では、従来のHadoop MapReduceのどこに課題があったのか、4つ
PayPal Behavioral Analytics on Hadoop
Thomas Wolf "An Introduction to Transfer Learning and Hugging Face"Fwdays
Notes of Hadoop Summit 2012 Day2. #hadoopsummit - #garagekidztweetz
ツイート Notes of Day2. Next from Notes of Hadoop Summit 2012 Day1. #hadoopsummit, this time I want to share you my Notes of Hadoop Summit Day2. And maybe until the end of tomorrow I will up Summary of this event (in my view point) lastly. Contents: 8:30am - 10:05am Keynote - Geoffrey Moore and Plenary Sessions in the Main Ballroom 10:30am - 11:10am The Future of HCatalog. 11:25am - 12:05pm Analytical
Hadoopでレコメンドシステムを作ろう 記事一覧 | gihyo.jp
運営元のロゴ Copyright © 2007-2024 All Rights Reserved by Gijutsu-Hyoron Co., Ltd. ページ内容の全部あるいは一部を無断で利用することを禁止します。個別にライセンスが設定されている記事等はそのライセンスに従います。
Hadoop and the Data Scientist
Beginner must-see! A future that can be opened by learning HadoopDataWorks Summit
楽天におけるHadoop活用と、Big Dataのビジョン
7. グループビジネスの拡大と国際展開 1997年 1997年 1998年 1998年 1999年 1999年 2000年 2000年 2001年 2001年 2002年 2002年 2003 2003年 2004 2004年 2005 2005年 2006 2006年 2007 2007年 2008 2008年 2009 2009年 2010年 2010年 2011年 2011年 11 7 10. BigDataへの取組み ■楽天にあるBig Data 楽天にあるBig にある • 70,000,000+ 会員 • 85,000,000+ 商品情報 • 80,000,000+ 購買情報 • 68,000,000+ レビュー、口コミ レビュー、 • 3,000,000+ 1ヶ月あたりの宿泊情報 ヶ あたりの宿泊情報 • 30,000+ 市場出店店舗 • 60,000+ 登録ホテル 登録ホテ
blogeyeの実装に学ぶ、Amazon EC2/S3でのHadoop活用術
はじめに こんにちは。Hadoop連載 第4回は太田さんに代わって大倉が担当します。 これまでの連載で、Hadoopによるデータ処理の概略については理解されていると思います。今回はHadoopを利用したシステムの実例ということで、ブログ分析を行う「blogeye」システムの概略と、その中でのHadoop利用法を紹介します。 また、blogeyeはAmazonが提供しているEC2（レンタルサーバ）、S3（ストレージ）をHadoopと組み合わせて利用しているので、その辺りの導入方法についても紹介します。 これまでの連載 Hadoop、hBaseで構築する大規模分散データ処理システム Hadoopのインストールとサンプルプログラムの実行 複数マシンへHadoopをインストールする blogeyeとは 「blogeye」（ブログアイ）は日本語のブログをクロール、リアルタイムに分析して、流行語と思わ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Tableau と Hadoop の ５つのベストプラクティス
日々進化するHadoopの 「いま」
Hadoop Distributed File System Reliability and Durability at Facebook
Big Data at Riot Games
30B events a day with hadoop