オーベルジーヌ実食レポ 食べ物の鼻塩塩(未だに通じるのかな) オーベルジーヌというカレーをご存知だろうか 都内にあるデリバリー専門のカレー屋で、 ロケ弁などで大人気の本格欧風カレーが楽しめるらしい いいな〜 いいな〜オブザイヤー 都内の奴らはこんな良いモン食ってんのか 許せねえよ………
![はてなブログ | 無料ブログを作成しよう](https://cdn-ak-scissors.b.st-hatena.com/image/square/06a15c64ba0ceec233d86d71001ebb29a9dcbf5d/height=288;version=1;width=512/https%3A%2F%2Fcdn.blog.st-hatena.com%2Fimages%2Ftheme%2Fog-image-1500.png)
今、仕事でバリバリHiveってのを使ってる。 Hiveってのは、HadoopをRDBMSみたく使えるようにしちまおうぜ、という、facebookさんが作った非常に素敵なフレームワーク。なんとSQLみたいな言語でMap/Reduceを実行出来る。 素敵なんだが、正直、中身をきちんと理解して使ってるわけではないので、何をどうしたらどうなる、と言う、勘所が全然分かってない。 しかもあんまり文献も無いし、詳しい人もあんまりいないし(Hadoopに詳しい人はいる)。ネットには結構情報はあるけどほとんど英語だし・・・まあ読みゃいいんだが。。。 英語よりはJavaのが分かるだろう、と思ってとりあえずソースコードをダウンロードしてきて、読み始めた。 ■知りたいこと ・どうやってHiveQLを実行してんのか ・HiveQLのクエリをどうMap/Reduceにしてんのか ■使ったバージョン ・Hive 0.6
プロジェクトの作成 † mavenを使ってレコメンド・アプリケーションを作成します。 最初に、プロジェクトを作成します。 $ mvn archetype:create -DgroupId=sample.recommendApp -DartifactId=recommendApp -Dversion=0.0.1 ↑ pomファイルの変更 † pom.xmlのdependecyに以下の項目を追加します。 <dependency> <groupId>org.apache.mahout</groupId> <artifactId>mahout-core</artifactId> <version>0.2</version> </dependency> <dependency> <groupId>org.slf4j</groupId> <artifactId>slf4j-jcl</artifactI
MapReduceというと集計に使うモノという人が多いと思う。 なんとなれば、MapReduce=Hadoop=ワードカウントの図式になっているからだ。 実際、Hadoopを触ってみようという人のほとんどはexampleとしてワードカウントを使うはず。その辺に落ちてるシェークスピアのログでHadoopのexampleを動かした人もおおいはず。 ところが実際に業務バッチ的な処理を行うときに、MapReduceの効果的な使い方は別にもある。個人的は、「本当のMapReduceの使いかた」はこっちだと思う。なんということはなくて「組み合わせ計算を高速に行う」だ。ある種の計算では、順序処理でギブアップしてしまうケースの一つに組み合わせの計算がある Node{ List<Node> nodeList value(){ hasNodeList() ? nodeList.traverse(value()
最近、Perl も書き始めてみたので、Hadoop 上で分散実行できる Perl での MapReduce 実装を紹介する。大規模データマイニング・機械学習のライブラリ Apache Mahout の Parallel Frequent Pattern Mining の入力データを生成する Perl MapReduce 実装の紹介。 Frequent Pattern Mining 入門 Frequent Pattern Mining (Association Analysis )は、隠されたルールパターンを抽出するアルゴリズム。有名な例としては、1992年のウォルマートのクリスマス商戦で「おむつを買った人は半ダースのビールを買う可能性が最も高い」という頻出ルールを抽出し、商品陳列に活かした売上向上した事例。 入門資料: 第5回R勉強会@東京 で話してきた - 「R言語によるアソシエーション
Map/reduce, geospatial indexing, and other cool features (Kristina Chodorow)
御徒町@MultiVersionConcurrentClimber(MVCC) @okachimachiorz1 Hadoopのような分散環境が普通に出てくると、実は逆に仮想化の取り扱いが困ってくるという問題が発生する(というかしてる)。分散ではハードの代替性が高いので、対障害性という意味での仮想化は利用箇所が局所的になる。全面仮想化マンセーはちょっと困ったことになる。 2011-06-09 22:17:20 御徒町@MultiVersionConcurrentClimber(MVCC) @okachimachiorz1 特に運用側面から見ると、仮想化の位置づけはきわめて有効な部分と、そうでない部分があるのは意識したほうがいいと思う。仮想化の前提がLAMPSであるなら、なおさら分散クラウドでの位置づけは再考した方が良いと思う。前提が違う時は、手当が必要になることが多い。なんとなくそう思う。
The Pig tutorial shows you how to run two Pig scripts in local mode and mapreduce mode. Local Mode: To run the scripts in local mode, no Hadoop or HDFS installation is required. All files are installed and run from your local host and file system. Mapreduce Mode: To run the scripts in mapreduce mode, you need access to a Hadoop cluster and HDFS installation. The Pig tutorial file (tutorial/pigt
昨日のHadoopソースリーディング4回目(Hadoopソースコードリーディングまとめ第4回 #hadoopreading)で、 @okachimachiorz1 さんが、MRUnit便利だし使うよね的な事をおっしゃっていて、 どんなもんかなと思ってチョロっと自動テストしてみました。 【環境】 1. EclipseのMapReduceプラグイン hadoop-0.20.2-eclipse-plugin.jar(Hadoopをインストールしたところのcontribに入ってる)を eclipseのプラグインディレクトリに突っ込んで再起動すると ウィザードでMap/Reduce Projectが作れるようになります。 ⇒ Hadoopのインストールディレクトリを指定するとそこにパス通してくれる感じ。 2. JUnit4のjarを落としてパスを通す HadoopのlibにはJUnit3.8しか入っ
2010年05月25日 Riak と Cassandra と HBase、あらまー! Mozilla Blog Riak and Cassandra and HBase, Oh My!の勝手訳。各分散 KVS の特徴が分析されていて興味深い……と思って訳してみた。この無様なタイトルは Google 翻訳による。 Riak と Cassandra と HBase、あらまー! 我々は、SoCorro Crash プロジェクトにおいて HBase との統合を進めているが、その話はちょっと置いておいて、今回はメトリック・チームが巻き込まれている別のプロジェクトについて話をしよう。 Mozilla Labs Test Pilotは、実世界の Firefox ユーザをから集めたデータを分析して、ユーザ・エクスペリエンスを向上させるための実験をしたり、定量的データを集めたりするためのプロジェクトだ。 私
Hadoopエンタープライズソリューションセミナー @秋葉原コンベンションホール by NTTデータ に行ったので、そのメモ。(一部のセッションは省略) ◎企業内データへの新しいアプローチ Cloudera CEO Mike Olson Big Data Big Dataは大きな問題。 トランザクションや売上履歴だけでなく、webなどから色んなデータが集まってくる。 新しい方法でデータを保存し、解析する必要がある。 機械学習やデータからパターンの抽出を行いたい。 データは指数的に膨大を続けている。 これにより、会社は新しいデータとの向き合い方を考える必要がある。 Hadoop導入企業ではノード数が平均四倍になっている。 Hadoop HDFSは統合して、費用をかけずにデータを格納することができる。昔はセントラルの高級サーバにしかできなかった。 データを格納しているサーバで解析を行えることが
Tatsuya Kawano @tatsuya6502 HBase勉強会(ワークショップ)は、本日5/20 18:30スタートです。もし参加できなくなってしまった場合は、補欠者のために、参加取り消しのボタンを押してください。 http://t.co/O3zG2Ve #hbase workshop 2011-05-20 09:05:56 Tatsuya Kawano @tatsuya6502 RT @tatsuya6502:【HBase勉強会ご参加のみなさまへ】HBaseドキュメントの日本語訳が、あしたの研サイトにて公開されました。勉強会の前にぜひ読んでおいてください。 http://t.co/rvIF6jI (勉強会の情報: http://t.co/O5V0EZe 2011-05-20 11:32:49
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く