「カジュアル」な規模のデータクラスター上でのデータ解析処理 « NAVER Engineers' Blog
今年はさだまさしさんのデビュー40周年ということで、記念コンサート「さだまつり」も絶賛開催中の折も折、残暑も厳しい中皆様いかがお過ごしでしょうか。大平です。 さだまさし氏は経験の豊富な方ですので彼の歌や発言から学ぶことは大変多いのですが、個人的に非常に感銘を受けているのは「歌はコンサートで成長する」という言葉です。歌い手として、「歌」という作品を作って公開・販売するだけが仕事ではなく、実際にコンサートなどでお客さんに届け、お客さんの反応を参考にしたり日々の演奏活動の中で試行錯誤を繰り返して、内容をブラッシュアップし洗練させていく過程を指して先の言葉があるのだと思います。実際にさだまさし氏の曲はCDに収録されているものと実際にライブで演奏されるものとでアレンジが大きく異なり、かつ作品としても質が向上しているものが少なからず存在します。 …あまりさだまさしの話を続けると本当に上長に叱られますの
Hadoopの派生関係
Hadoop in Practiceを読んでからお絵かき上手になりたいと思い、テーマとしてよさげだったので、ベンダー勢も含めて派生関係をお絵かきしてみました。というのと、Hadoopまわりの派生関係はあきらかにややこしく、一度真面目に調べてみたかったのもあります。 前者の目的についてはそれなりにシャレオツ感があるのでよしとして、派生関係の把握についてですが、これはあきらめてだいぶいろいろ簡略化しています。 http://svn.apache.org/viewvc/hadoop/common/ この辺から既存のブランチとタグを追いかけるとわかるのですが、どのバージョンからどのバージョンが派生しているのか調べるのはわりと大変そうだったので、Hadoop Opertions とClouderaのブログ http://www.cloudera.co.jp/hadoop/column/apache
NoSQLの現状
このため、NoSQLの知識を持つ開発者やアーキテクトに対する需要が高まってきています。最近の調査によると、最近必要とされる開発スキルは次の通りです。 HTML5 MongoDB iOS Android Mobileアプリ Puppet Hadoop jQuery PaaS ソーシャルメディア 技術的要求のトップ10の中で、NoSQLデータベースは2つあります。1つは、iOSよりも上です。これがNoSQLをほめているのでなかったら、何なのでしょう?! しかし、一見したところ、NoSQLはますます速く深いところまで適用されるようになっています。2011年の夏に、有名な報告書の中でOracleは次のように述べました。NoSQL DBがアイスクリームの味のように感じるかもしれないけれど、あまり深入りしない方がいい、NoSQLはそれほど長く残らないかもしれないから。そのわずか2、3ヶ月後、Oracl
(Java)WebアプリからHive・Huahin Managerに連携した時のメモ
Huahin Manager Huahin ManagerはHadoopのJobTrackerのHTTPProxy的な役割をするサーバーで、Huahin ManagerにHTTP接続することでREST的な操作でJobTrackerの情報取得やコントロールを行なうことができるOSSのミドルウェアです。 先日Huahin Frameworkという製品のプレスリリースがありましたが、Huahin Managerはその一部を担う機能になります（で合ってるのかな？） ブレインパッド、Hadoopフレームワーク「Huahin Framework」をオープンソースソフトウェアとして公開 この記事では、JavaのプログラムからHiveやHuahin Managerに連携をした時の作業メモを書きます。システムのユースケースとしては 「Hiveクエリー（に伴うMapReduceジョブ）をWebアプリケーション
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Hive/Pigを使ったKDD'12 track2の広告クリック率予測
SLOBSERVER - L'actualité de Second Life