あのジェリー・ヤンも出資! 話題のベンチャーTreasure Dataがめざすのは"ビッグデータをシンプルに"─Hadoop Conference Japan 2013 Winterレポート（3） | gihyo.jp
シリコンバレーの投資家からも一目置かれるTreasure Dataの成長を支えているその技術力と経営理念について、Treasure DataのCTOである太田一樹氏が基調講演で語ったその内容をレポートします。 Feature Creepではなく“ナタ”を作る 太田氏をはじめとするTreasure Dataの創業メンバーはいずれもHadoopやmemcached、MongoDBなど、現在のビッグデータブームを支えるオープンソース技術の開発に学生時代から関わっていました。これらのオープンソースプロダクト、とくにHadoopに触れる経験が長かったことが、Treasure Data設立の大きなきっかけになっています。 「Hadoopの登場はこれまで使いづらいだけの存在だった分散システムの世界を大きく変えた。一方で、ユーザ企業がHadoopをデプロイし、運用をはじめても、結局はメンテナンスが大変にな
ApacheがGoogleのリアルタイムビッグデータツールDremelのオープンソースクローンDrillを
When Alex Ewing was a kid growing up in Purcell, Oklahoma, he knew how close he was to home based on which billboards he could see out the car window.…
20分でわかるHBase
PyFes 2012.07 で発表したときのスライドです。 HBaseのアーキテクチャ周りを中心に話しました
livedoor Techブログ : 第2回NHNテクノロジーカンファレンス開催！
(※ 2012.7.27追記 : 講演5を追加しました) NHN技術部会、株式会社データホテルの伊勢幸一です。 おまたせいたしました。 お約束通り、来る8月18日（土)、第2回NHNテクノロジーカンファレンスを開催します！ 今回のテーマはこちら！ 「H （エッチ)」 もともと本当は第2回テーマとして今流行のHTML5大特集を予定していたのですが、前回のカンファレンスでスピーカーをして頂いたGREEの藤本さんから、 「LINEで使っているHBaseの話を聞きたい」 という余計な突っ込みというか、プレッシャーを与えられまして、思わず、 「じ ・・・・ 次回に ・・・・」 と言ってしまい(やっべー！次回はHTML5で行く予定だったんだけど)、HTML5とHBaseじゃ全くカテゴリーが違うし関連性も無いのでどうするか、何か共通性が無いか？と、悩んでおりましたところ、 「あれ？両方とも頭文字が「H」
めざせ！Hadoopエンジニア―開発者編―
大規模データを処理するための基盤の一つとして、分散処理プラットフォームであるHadoopが広く使われるようになり、その勢いは世界中で加速しています。一方、大規模データの分析、活用のための人材不足が深刻化し、人材育成が急務となっている企業も少なくありません。本記事では、大規模データ処理基盤として注目されているHadoopの歴史と共に、Hadoopのスキルを客観的に証明できるHadoop認定プログラムを前／後編に分けて紹介します。 Hadoopが注目される理由 ハードウェアの進化に伴ってサーバの性能は年々向上しています。ムーアの法則にあるように、その中でもCPUなど半導体の性能は著しく向上しています。 一方でハードディスクの性能はこれに追いついておらず、データの読み書き時には待ち状態になってしまう場合もあるでしょう。 つまり、データ量が多ければ多いほど、待ち状態がボトルネックとなってしまうので
アップル、Facebookを「iOS 6」に統合か
新たな報道によると、次期主要バージョンの「iOS」では一段とソーシャル化が進むという。 TechCrunchは、Appleの「iOS 6」に「Facebook」への接続が組み込まれるとの情報を入手したと報じた。iOS 6は、開催まであと10日ほどとなったAppleの開発者向け年次会議で発表されると見られている。 同報道によると、Facebookの統合により、アプリ開発者はより簡単な方法でユーザーにFacebookアカウントでログインさせることができるようになるという。おそらく、アプリからいったん抜けてFacebookのアプリに切り替えるという現状での操作は行わなくて済むだろう。 Facebookが「Twitter」と並んで共有オプションに含まれるようになるのかについては言及されていない。Twitterは2011年、「iOS 5」の標準機能として追加されており、2012年夏にリリースされる「
大規模データマイニング・機械学習 Mahout 活用に向けて読んでおきたい12のプレゼン資料 - hamadakoichi blog
2012年度が始まり1ヶ月が経ちました。2011年度は、大規模分散処理技術・データ基盤の普及が広く進んだ年だったと思います。2012年はそれら蓄積された大規模データを活用しデータマイニング・機械学習を用い、ビジネス・サービス洗練を大きく広げていく年ではないでしょうか。 Mahoutは 大規模分散データマイニング・機械学習のライブラリです。ApacheプロジェクトのOpen Sourceで、Hadoop上で動作しデータマイニング・機械学習の大規模分散実行を行うことができます。 Apache Mahout 大規模分散 データマイニング・機械学習を実行できる Mahout ですが、まだ「ドキュメント整備が発展途上で詳細を知るためにはソースコードから読み解く」必要がある場合が多く、また、活用には「対象とするデータマイニング・機械学習の基礎知識」が必要なため、まだまだ活用の敷居が高いのが現状ではない
分析技術編：Hadoopへの期待と課題
＞＞前回 この連載では、ビッグデータの収集から格納までのシステムデザインについて概観してきた。最終回は締めくくりとして、分析技術の課題と今後の方向性を考えてみる。 ビッグデータにおける分析技術の課題 分析技術の課題を考えるために、前回取り上げたECサイトの消費者行動ログデータの分析を想定してみる。図1は、割引率と売上額の相関だけでなく、購入時に表示されていた口コミ情報がどの程度の影響を与えるかを分析する例を示したものだ。この例では、口コミ評価が高いと、割引率に関係なく売上額が高いことを示している（右グラフの円の大きさは売上額の大きさを示す）。 このような分析を行う場合、１回のデータベース検索だけでは結果を出せないため、次のような複数の処理ステップが必要となる。 （1）１画面に含まれる複数の口コミ評価から、価格に関する評価を除外し、総合評価指数を算出する。 （2）会員向け割引を加算するなど割
触ってみよう！ビッグデータを支えるクラウド技術
サーバーの台数を増やせば増やすほどリニアに性能が向上することを目指した処理方法が注目されています。例えば「MapReduce」という処理方法などです。また、ボトルネックになりがちな従来のデータベースに代わる「NoSQL」や「分散キー・バリュー型データストア」など新しいタイプのデータストア技術への期待も高まっています。 ビッグデータ時代を迎えるに当たり、クラウド技術がどのようになっているのか理解するには、実際に使ってみるのがよいでしょう。クラウド技術の多くは、ソフトウエアがオープンソースで提供されるだめ、タダで動かしてみることができます。ぜひ記事の通りに実際に手を動かして操作してみてください。紹介するほとんどは、OSとしてLinuxを用います。 目次
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
アクセス解析システムの裏側 （公開用）
OSSで支えられるライブドアの巨大ログ集計 #nhntech
大規模データ技術の現状と今後の方向性