Code Archive Skip to content Google About Google Privacy Terms
大名古屋ことGoogle グループの宿題で「Hadoopを動かしてみること」というのがあったので、試してみました。Javaを使う気にはならないので、Scalaで。 コード Hadoopの2章のコードを素直に写経する。一ファイル一クラスの制限がないのはいいね。 import java.util.Iterator import org.apache.hadoop.fs.Path import org.apache.hadoop.io._ import org.apache.hadoop.mapred._ class MapExample extends MapReduceBase with Mapper[LongWritable,Text,Text,IntWritable] { def map(key : LongWritable, value : Text, output : OutputC
先日、Hadoop ConferenceでScala on Hadoopというタイトルで発表してきました。スライドを以下に置いておきます。 Scala on HadoopView more presentations from Shinji Tanaka. ダイジェストとして、ScalaをHadoopで動かすための方法を書いておきます。 まず、Hadoop上でScalaを実行させるためには、JavaとScalaを接続するライブラリが必要となります。ここでは、SHadoop( http://code.google.com/p/jweslley/source/browse/#svn/trunk/scala/shadoop )を使用します。SHadoopは、型変換を行うシンプルなライブラリです。 よくあるWordCountのサンプル、WordCount.scala (http://blog.jo
はじめに 色々なシステム間でバイナリデータのやり取りをする方法に興味を持っています.調べている中でUniversal Binary Format(UBF)という規格を知ったので,その元になっている資料をまとめてみました.これは,Getting Erlang to talk to the outside worldという名前で,プログラミングErlangの著者でもあるJoe Armstrong氏が書いています.この資料を章ごとにまとめてみました. ここから ABSTRACT Erlangを使ってErlang以外の世界とデータをやりとりするにはどうすればいいでしょう.これは,Erlangを構成要素として使う分散アプリケーションを構築する際には重要な課題です.一般的な解決策は,XML,XML-schemas,SOAP,WSDLと言ったXML標準を使うことですが,非効率,かつ,複雑すぎます.そこで
第二回 Erlang 基礎勉強会に参加しました。主催の id:cooldaemon さん、会場を提供してくださったジェミナイ・モバイル・テクノロジーズ株式会社様、ありがとうございました。 非常にレベルが高い勉強会でした。「Erlang 分散システム勉強会」に比べればこれでも簡単なんだそうで、恐れ入りましたという感じ。でも俺以外は皆さん経験を積んだ方ばかりのようだったので、一人だけ水準に達してなかったひとの感想だと思ってください。 レベルが高いとは書いたけど、高くて良かったと思う。ちょっとぐぐればわかるような基礎的な文法のおさらいとかはわざわざ集まってやることもないわけで。勉強会で使ったサンプルコードがかなり豊富で、色々なテクニックを駆使しているので、それを解読するだけでもかなり勉強になりそう。 「ぶっちゃけトーク」的なことが聞けて良かった。といってもブログに書きづらいような内容ではなくて、
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く