第30回　RubyとHadoopで分散処理　Hadoop Streamingで外部データを読み込む | gihyo.jp

テクノロジーカテゴリーの変更を依頼記事元:

gihyo.jp

49 usersがブックマークコメント

コメント

8

記事へのコメント8件

注目コメント
新着コメント

kana321 RubyとHadoopで分散処理　Hadoop Streamingで外部データを読み込む

2014/12/24 リンク

yonetin あとで試す

hadoop
ruby

2012/05/09 リンク

shiumachi Streamingそのままだとmap,reduce中に外部データを取り込むことができないが、-catすることでデータを取り込む方法が書かれている。クックパッドの事例の技術的な側面について書かれている

2010/04/27 リンク

kiyoshi1211 分散処理。とりま

Ruby
Hadoop

2010/02/23 リンク

rochefort hadoop dfs -cat s3://xxx/path/to/data

2010/02/06 リンク

okinaka URL (0029)と回(30)が異なることもあるのね。

hadoop

2010/02/02 リンク

ytel pichupichuのデータ分析などで使ってみよう

2010/02/01 リンク

tomsudo hadoop ruby

2010/02/01 リンク

注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています

規約違反を報告

アプリのスクリーンショット

いまの話題をアプリでチェック！

バナー広告なし
ミュート機能あり
ダークモード搭載

アプリをダウンロード

関連記事

第30回　RubyとHadoopで分散処理　Hadoop Streamingで外部データを読み込む | gihyo.jp

前回のおさらい第28回ではHadoop Streamingの仕組みについて説明しました。今回は、実際にHadoop Strea... 前回のおさらい第28回ではHadoop Streamingの仕組みについて説明しました。今回は、実際にHadoop Streamingを利用してデータ解析したときの具体的な話や、利用してみて困った（ハマった）Hadoop Streaming特有の問題とその解決法について紹介していきます。実際に利用してみて困った（ハマった）ことさて、第28回でも紹介しましたが今回Hadoopを利用したのはopen('http://tabemiru.com/2009'); return false;">たべみるのデータ解析のためです。たべみるのデータ解析では、食材名や地域名といった特定の値ごとにデータをまとめる処理が多く、またその処理速度が遅いのが問題だったのですが、このような処理はHadoop上（Ruby）でも比較的簡単に実装することができました。それで最初は「これはスムーズにHadoop上に処理を

ブックマークしたユーザー

kana3212014/12/24
beth3212014/11/07
yonetin2012/05/09
seapig_dolphin2012/04/20
tbrook2011/09/04
tomity2011/06/01
tote1022010/11/09
whata2010/11/01
InoHiro2010/09/29
syou61622010/05/25
shiumachi2010/04/27
kiyoshi12112010/02/23
rochefort2010/02/06
tester72010/02/03
taka2222010/02/02
takeshiyako2010/02/02
sbg32010/02/02
Ken_Yamada992010/02/02

同じサイトの新着

同じサイトの新着をもっと読む

いま人気の記事

いま人気の記事をもっと読む

いま人気の記事 - テクノロジー

いま人気の記事 - テクノロジーをもっと読む

新着記事 - テクノロジー

新着記事 - テクノロジーをもっと読む

設定を変更しましたx