Hive UDFを自分で追加するときの注意点メモ - たごもりすメモ
メモ。CDH3u2 (hive-0.7.1-cdh3u2) での話。 (1/23 HiveServerについていくつか追記した) Hiveで自分でつくった関数(User Defined Function: UDF)を使いたい！ と思い艱難辛苦を乗り越えJavaのコードを書きjarにまとめたとする。書くまでの話はWikiの該当ページなどを熟読するのがよろしい。 で、じゃあどうやってHive起動時に読み込めばいいの、という話。 add jarコマンド hiveコマンドを起動するマシンの適当なディレクトリにjarファイルを置き、そのディレクトリをカレントディレクトリとしてhiveを起動して以下のコマンドを実行する。 hive> add jar udfclass.jar; hive> create temporary function myfunc as 'my.package.udf.Class
EXTRACT TOP N RECORDS IN EACH GROUP IN HADOOP/HIVE
Memento "A retentive memory may be a good thing, but the ability to forget is the true token of greatness.” – Elbert Hubbard Assume you have a table with three columns: user, category and value. For each user, you want to select top N categories. To achieve this in hive, you can use the following query: SELECT * FROM ( SELECT *, rank(user) as row_number FROM ( SELECT user, category, value FROM $co
第1回 レコメンドシステムと集合知 | gihyo.jp
はじめに 今回から9回に渡り、Hadoopを使ったレコメンドシステムの実装について紹介させていただくことになりました。 レコメンドシステムを構築した方は少ないと思いますが、レコメンドのサービスに触れている方は多いと思います。今回の連載で、読者の皆様にレコメンドシステムの可能性とその実装の面白さをお伝えできればと思います。よろしくお願い申し上げます。 連載の予定は次の通りです。 レコメンドシステムと集合知（今回） レコメンドシステムの実装と課題 協調フィルタリング（前・後編） コンテンツベースレコメンド（前・後編） 今回の記事のポイントは以下の通りです。 レコメンドシステムの目的は気付きと驚きを与えること 理想のレコメンドはソムリエのお薦め レコメンドシステムに必要なのは嗜好と専門性 では、早速はじめましょう。 レコメンドシステムとは？ レコメンドシステムは情報フィルタリングの一種で、大量の
5日間の処理を1時間に短縮 DWHからHadoop移行で成功事例、欧州広告企業 − ＠IT
2010/03/15 大規模サービスを展開するWeb企業から始まったHadoop利用だが、エンタープライズ分野でも少しずつ成功事例が出てきているようだ。Hadoopの商用パッケージとサポートに特化したベンチャー企業、米Clouderaの3月10日付ブログで、ヨーロッパでターゲティング広告事業を展開するnugg.adが成功事例を詳細に報告している。報告しているのはnugg.adのCTO、リチャード・フットン（Richard Hutton）氏。 nugg.adでは、2007年から2009年までの間、PostgreSQLをベースに古典的なデータウェアハウス（DWH）によるシステムを構築していたが、2009年6月から10月にかけてHadoopベースのシステムに移行。それまで5日かかっていたような処理が1時間にまで短縮し、計算処理の大幅時間短縮によって、これまで提供が考えられなかったような付加価値サ
Apache Software Foundation、米Yahoo発の「Traffic Server」など6つをトップレベルプロジェクトに昇格 | OSDN Magazine
非営利団体Apache Software Foundation（ASF）は5月4日（米国時間）、「Apache Traffic Server」など、新たに6つのオープンソースプロジェクトをトップレベルプロジェクト（TLP）に承認したことを発表した。単一月では最多の昇格となる。 新たにTLPとして認められたTraffic Serverは、米Yahooが2009年にオープンソース化したHTTP/1.1互換のキャッシュ機能付きプロキシサーバー。もともとはYahooが買収したInktomiの技術を土台としており、ASFではインキュベータープロジェクトとして開発が進められてきた。クラウドコンピューティングにおけるエッジサーバーとして利用できることから注目されている。 残りの5プロジェクトは、既存TLPのサブプロジェクトからの昇格となる。「Apache Lucene」から昇格したのは、1）「Apach
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
平成２１年度産学連携ソフトウェア工学実践事業（高信頼クラウド実現用ソフトウェア開発（分散制御処理技術等に係るデータセンターの高信頼化に向けた実証事業））事業成果報告書
【CEDEC 2011】Mobageのデータによるゲーム改善サイクルの一端を見た | インサイド
http://agilecatcloud.com/2010/03/26/hadoop-%E3%81%AB%E3%82%88%E3%82%8B-web-%E5%BA%83%E5%91%8A%E3%82%B7%E3%82%B9%E3%83%86%E3%83%A0%E3%81%AE%E6%A7%8B%E7%AF%89%E3%81%A8%E9%81%8B%E7%94%A8-%EF%BC%9A%E3%83%A8%E3%83%BC%E3%83%AD%E3%83%83-4/