まつもとゆきひろ氏がノーチラスのチーフアーキテクトに就任
ノーチラス・テクノロジーズは2011年10月3日、Rubyの作者であるまつもとゆきひろ氏が同社のチーフアーキテクトに就任したと発表した。ノーチラス・テクノロジーズは、イーシー・ワン（EC-One）のソフト開発部門とウルシステムズの「Hadoop」関連部門が経営統合して発足した企業（関連記事）。 まつもと氏は分散処理の分野におけるRubyやオープンソースソフトウエアの活用に関する助言や指導を行う。ノーチラス・テクノロジーズはまつもと氏のRubyやオープンソースソフトウエアの普及活動を支援し、共同で技術研究を実施する。 まつもと氏はネットワーク応用通信研究所フェローおよび楽天の楽天技術研究所フェロー、Herokuのチーフアーキテクトなど既存の活動を継続する。 ノーチラス・テクノロジーズは、基幹バッチ用Hadoopフレームワーク「Asakusa Framework（Asakusa）」をオープンソ
RubyからHiveサーバ経由でHiveを使う - brfrn169の日記
HiveサーバはThriftでできてるんで当然Rubyからも使えます。 が、ひどくはまったんでメモしときます。 環境は、CentOS 5.5です。 Thriftのインストール id:brfrn169:20101010:1286699822 Hiveサーバの立ち上げ方など id:brfrn169:20100312:1270530644 クライアントコードの生成 まず、http://archive.cloudera.com/cdh/3/ からソースを落としてきます。 落としてきたら、IDLからクライアントコードを生成します。 tar xvzf hive-0.5.0+20.tar.gz thrift -gen rb hive-0.5.0+20/src/service/include/thrift/fb303/if/fb303.thrift thrift -gen rb hive-0.5.0+20
第30回 RubyとHadoopで分散処理 Hadoop Streamingで外部データを読み込む | gihyo.jp
前回のおさらい 第28回ではHadoop Streamingの仕組みについて説明しました。今回は、実際にHadoop Streamingを利用してデータ解析したときの具体的な話や、利用してみて困った（ハマった）Hadoop Streaming特有の問題とその解決法について紹介していきます。 実際に利用してみて困った（ハマった）こと さて、第28回でも紹介しましたが今回Hadoopを利用したのはopen('http://tabemiru.com/2009'); return false;">たべみるのデータ解析のためです。たべみるのデータ解析では、食材名や地域名といった特定の値ごとにデータをまとめる処理が多く、またその処理速度が遅いのが問題だったのですが、このような処理はHadoop上（Ruby）でも比較的簡単に実装することができました。 それで最初は「これはスムーズにHadoop上に処理を
第28回 RubyとHadoopで分散処理 Hadoop Streamingの仕組み | gihyo.jp
はじめに Hadoopとは、Googleの基盤技術であるMapReduceをJavaでオープンソース実装したもので、分散処理のフレームワークです。Hadoopを使うと、1台のサーバでは時間の掛かるような処理を、複数のサーバで分散処理させることができます。「処理を割り振ったサーバが壊れた場合どうするか」などの耐障害性の問題もHadoopが管理してくれるため、利用者は処理のアルゴリズムのみに集中することができるのです。素晴らしいですね。最近ではYahoo!やはてななど、様々な企業でも利用されるようになってきています。 Hadoop導入の背景 筆者はクックパッド株式会社に勤めています。open('http://cookpad.com'); return false;">クックパッドというサイトが有名だと思いますが、他にも携帯版クックパッドであるopen('http://m.cookpad.co
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
