Hadoopとの出会いが転機に～トレジャーデータCTO 太田一樹氏インタビュー
米トレジャーデータのCTOを務める太田一樹氏にインタビューする機会を得た。プログラミングを始めたきっかけや、Hadoopとの出会い、起業についてなど、28歳の若手起業家の素顔に迫った。 米トレジャーデータは、昨今話題となっている“ビッグデータ”の処理基盤を提供していることに加えて、3人の日本人が立ち上げたシリコンバレー発のベンチャーとして、注目を集めている。2013年5月20日には、日本国内での事業展開を本格化すると発表している（関連記事）。 同社が提供する「Treasure Data Platform」は、自社開発技術とHadoop、クラウドサービス（AWS）を組み合わせたビッグデータ処理基盤である。ビッグデータの処理基盤をクラウドで提供している点が特徴だ。大量のセンサデータや購買取引データ、Web閲覧・アプリケーションのログデータなどをクラウド上のデータベースにインポートし、そのデータ
Hadoopを使いこなす(2)
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは、 前回のHadoopの記事 に引き続き、MapReduceのカスタマイズポイントを解説していきます。 前回の記事の図や、表などを参照しながら読み進めていただければと思います。 MapperやReducerの流れの制御 Mapperの実行の流れは、デフォルトでは、初期化処理を行った後、map関数を繰り返し実行し、終了処理を行うようになっていますが、この流れ自体を制御することができます。 古いAPIでは、MapRunnerを通じてこの流れを制御できますが、0.20.0からの新しいAPIでは単純にMapperクラスのrun関数をオーバーライドすることで、行えます。 デフォルトのrun関数は以下の通りです。 public vo
イベントレポート（食べログ＆クックパッド共催勉強会） - クックパッド開発者ブログ
こんにちは。クックパッドでイベント運営を担当しているスミです。 去る12/17、食べログさんと共催で勉強会を行いました。食べログさん、クックパッドのエンジニアがそれぞれ3名ずつ、お集まり頂いた約30名のエンジニアの皆さまの前でプレゼンを行いました。 インフラのお話をテーマにした今回。会場の皆さまからたくさんのご質問を頂き、とても熱い時間を過ごさせて頂きました。ご来場頂いた皆さま、どうもありがとうございました。 クックパッドのエンジニアが使用した資料を公開いたしますので、是非ご覧くださいませ！ ・クックパッドのスケーリング（高田悟史） [slideshare id=2756725&doc=20091214tabelog-key-091221024948-phpapp01] ・800万人の"食べたい"をHadoopで分散処理（佐々木達也） [slideshare id=2735999&doc=
高まるHadoopの導入機運、日本のHadooperが集結
高まるHadoopの導入機運、日本のHadooperが集結：Hadoop Conference 2009 Tokyo Report Hadoop Conference 2009 Tokyoに集まった日本のHadooperたち。楽天が、はてなが、NTTデータが、そのほか多くの先進的な企業がこぞってHadoopを使うのはなぜなのか。Hadoopに対する各社の研究開発がつまびらかに語られた。 ニューヨークから東京へ 10月2日に米国・ニューヨークで「Hadoop World」が開催された時点で、11月には東京でも、という話が浮かび上がっていた。そのわずか2週間後、10月16日の金曜日にHadoopユーザー会からの開催通知メールが配信されると、週明け20日の朝には200名の定員が埋まってしまうという盛り上がりをみせ、日本のHadooperたちが胎動していることを感じさせた。 Hadoop Conf
Hadoop Streaming - naoyaのはてなダイアリー
id:naoya:20080511:1210506301 のエントリのコメント欄で kzk さんに教えていただいた Hadoop Streaming を試しています。 Hadoop はオープンソースの MapReduce + 分散ファイルシステムです。Java で作られています。Yahoo! Inc のバックエンドや、Facebook、Amazon.com などでも利用されているとのことです。詳しくは http://codezine.jp/a/article/aid/2448.aspx (kzk さんによる連載記事)を参照してください。 Hadoop Streaming 記事にもあります通り、Hadoop 拡張の Hadoop Streaming を使うと標準入出力を介するプログラムを記述するだけで、Hadoop による MapReduce を利用することができます。つまり、Java 以外
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
