Treasure Data - naoyaのはてなダイアリー
少し前にログの話を書いた http://d.hatena.ne.jp/naoya/20130219/1361262854 ときに、Treasure Data については後日にもう少し詳細に書くと言ったので書くとしよう。 近頃 Treasure Data (以下、時折 TD) という名前をちらほら聞いたことがある人は多いのではないかと思います。「ビッグデータのクラウドサービスである」とか「日本人が創業したシリコンバレーのベンチャー」、あるいは Yahoo! 創業者の Jerry Yang が投資したとか、Fluentd と何か関係があるといった文脈などなど。 けど、具体的に Treasure Data がどういうサービスで、どういう機能を持っていて、どんな場面で利用されるものなのかはまだあまり良く知られていないかもしれない･･･ようにも見える。今日はその辺から少し紹介していこうかなと思う。
MapReduceできる10個のアルゴリズム - データサイエンティスト上がりのDX参謀・起業家
HadoopとMahoutにより、ビッグデータでも機械学習を行うことができます。Mahoutで実装されている手法は、全て分散処理できるアルゴリズムということになります。Mahoutで実装されているアルゴリズムは、ここに列挙されています。論文としても、2006年に「Map-Reduce for Machine Learning on Multicore」としていくつかのアルゴリズムが紹介されています。 そこで今回は、（何番煎じか分かりませんが自分の理解のためにも）この論文で紹介されているアルゴリズムと、どうやって分散処理するのかを簡単にメモしておきたいと思います。計算するべき統計量が、summation form（足し算で表現できる形）になっているかどうかが、重要なポイントです。なってない場合は、”うまく”MapReduceの形にバラす必要があります。 ※例によって、間違いがあった場合は随時
Hadoop Conference Japan 2011でLTしてきました
先日開かれた Hadoop Confenence Japan 2011 でLTしてきました。 発表スライドは以下です。 分散ファイルシステムGfarm上でのHadoop MapReduce View more presentations from shun0102. ポイントは、HDFSの大体となる汎用的なファイルシステムを探す場合候補としては、 Gfarm, GlusterFS, Ceph, Lustre, PVFS2などがありますよ。試した所では、 GfarmはHDFSと同等の性能でマウントできて良い感じ GlusterFSは性能ではHDFSに劣るがマスターが要らない Cephは負荷をかけると固まるなどしてまだ実運用には厳しい状態 こんな感じです。 実際に性能評価を出してるのは一部の人にウケがいいみたいです。 こういう実際の性能評価をやって公開できる環境にある人も少ないと思うの
mahoutで簡単レコメンド - Real
mahoutのtrunk（0.4かな）が、更に使い易くなっている。 0.3は触る余裕が全くなくて使っていなかったけど、0.4からhadoopとの連携が更に強化されている様子が。 ちょっと遊びで使ってみたけどちょー、便利。 0.2とhadoopで解析処理を書いてたのに、こっちに移行させようかな…ただ俺的リソースが… インストールについてはこっちにあるけど、以下でOK。 # java/maven2が使えること svn co http://svn.apache.org/repos/asf/mahout/trunk cd trunk mvn install とりあえず、これでインストールはOK。 ここで簡単にhadoopと連携したレコメンド用のスコア値生成の方法を書いておく。 例として、次のようなデータがあるとする。 userid アイテムid 1000001 item1
Hadoop専用機「リンダ」を解剖
NTTデータの「Lindacloud（リンダクラウド）」は、「Hadoop」に最適化したハードウエアを同社が自ら設計・製造したアプライアンスサーバーだ。機能をそぎ落として、低コストと低消費電力を追求したハードウエアは、大手クラウド事業者が使うサーバーによく似ている。Lindacloudが象徴する、サーバーの新潮流を探った。 Lindacloudが搭載するHadoopは、分散バッチ処理プログラムを開発するためのミドルウエアだ。複数のサーバーにデータを分散保存してバッチ処理を実行し、結果を集約するという機能を備える。 Lindacloudは、高さ42Uのラックに搭載した35台の専用サーバーユニットで構成する。合計で32個のプロセッサと、256Gバイトのメモリー、128T（テラ）バイトのハードディスクを搭載して、価格は800万円（図1）。インテグレーション費用も含まれていることを考えると、安価と
MongoDBとAjaxで作る解析フロントエンド＆GraphDBを用いたソーシャルデータ解析
2. 自己紹介 • [自分] ▶ いのうえ たかひろ（ twitter: doryokujin ) ▶ 慶應大学院2年、数学科 25歳 ▶ MCMC、#P問題、近似ゕルゴリズム ▶ マラソンも好き(2時間30分位で走れてた) • [会社] ▶ 芸者東京エンターテンメント GTE ▶ ゕルバト3ヶ月目、ログ解析部隊（1人） ▶ おしごと非常に楽しいです 3. 最近の活動 • [MongoDB] ▶ MongoDB の日本語ドキュメント訳（Admin Zone） ▶ 進捗が遅くてすいません、勉強します、がんばります ▶ 勉強会とか、ユーザー会発足とか、もっと Mongo な活動 がしたい！ ▶ ご意見・協力してくれる人、いつでも声をかけて下さい • [ブログ] ▶ 始めました ▶ 勉強会報告、MongoDB、GraphDBを中心に… 4. 発表の目的 • ソーシャルゕプリの裏側（ログ解析）
NTTデータのHadoop報告書がすごかった - 科学と非科学の迷宮
業界トップ のエンタープライズ Hadoop 企業 Cloudera に入社しました http://www.cloudera.co.jp/ 今年の6月に、「平成２１年度 産学連携ソフトウェア工学実践事業報告書」というドキュメント群が経産省から公表されました。 そのうちの一つに、NTTデータに委託されたHadoopに関する実証実験の報告書がありましたので、今更ながら読んでみることにしました。 Hadoop界隈の人はもうみんなとっくに読んでるのかもしれませんけど。 http://www.meti.go.jp/policy/mono_info_service/joho/downloadfiles/2010software_research/clou_dist_software.pdf 「高信頼クラウド実現用ソフトウェア開発（分散制御処理技術等に係るデータセンター高信頼化に向けた実証事業）」という
資料を公開いたしました！（クックパッドの裏側見せます in 大阪＆名古屋） - クックパッド開発者ブログ
こんにちは。クックパッドのすみです。 去る4/2,4/3に大阪と名古屋にて「クックパッドの開発の裏側見せます」と題して講演会を開かせて頂きました。 当日は、技術部長の井原のほか、計3名のエンジニアがプレゼンさせて頂きました。 当日の資料を公開いたしますので、是非ご覧くださいませ。 最後に、大阪・名古屋の会場にご足労頂いた皆さま、 本当にどうもありがとうございました！ またお会いできますことを楽しみにしております。 ・清水雄太/毎日の料理を楽しみにするためのクックパッド流エンジニアライフ [slideshare id=3645164&doc=random-100405232603-phpapp01] ・佐々木達也/「Hadoopの活用事例 in クックパッド」 [slideshare id=3636819&doc=20100402hadoop-100404223254-phpapp01] ・
はやわかりHadoop
HDFS新機能総まとめin 2015 （日本Hadoopユーザー会 ライトニングトーク＠Cloudera World Tokyo 2015 講演資料）
Hadoopを業務で使ってみた話 - クックパッド開発者ブログ
8月に入社した佐々木です。こんにちわ！ 入社してからはHadoopを使うことが多く、日々、大規模データと格闘しています。大変ではありますが、個人ではなかなか触ることが出来ないような大規模データを触れるのは楽しいです。 さて、Hadoopは最近色々なところで使われ始めてきていると思うんですが、実際に利用してみて困った事やtipsなど、実践的な情報はまだあまり公開されていません。その辺の情報をみんな求めているはず…！！ そこで、僕が実際に触ってみて困った事やHadoopを使う上でポイントだと思ったことなどを社内勉強会で発表したので公開してみます。Hadoopを使っている（使いたいと思っている）方の参考になれば幸いです。 [slideshare id=2711363&doc=20091214techblog-091213183529-phpapp02] Hadoopの利用はまだまだ試行錯誤の連続
分散処理ソフト「Hadoop」のユーザー会が日本で発足、企業の導入が広がる
オープンソースの分散処理ソフトウエア「Hadoop」の日本におけるユーザー会「Hadoopユーザー会」が2009年11月13日に発足した。Hadoopは米グーグルの分散処理ソフト「GFS」「MapReduce」を模したもの。同日開催した「Hadoop Conference Japan 2009」には200人以上のエンジニアなどが集まり、Hadoopコンサルティングを行う米クラウデラ、ユーザー企業の楽天、はてななどが講演した。 Hadoopはグーグルが2004年までに公開したGFSやMapReduceの論文を基に、プログラマーのダグ・カッティング氏が2005年に開発したソフトウエア。カッティング氏は2009年に、米ヤフーからクラウデラに移籍している。クラウデラは、グーグルで上級ソフトウエアエンジニアを務めたクリストフ・ブシーリヤ氏らが2008年に起業したベンチャー企業で、Hadoop関連のツ
PFIとぷらっとホーム、分散処理ソフト「Hadoop」の導入支援で提携
プリファードインフラストラクチャー（PFI）とぷらっとホームは2009年11月19日、オープンソースの分散処理ソフトウエア「Hadoop」の導入を支援する事業で提携すると発表した。ぷらっとホームのサーバーやネットワーク機器と、PFIによるHadoopのコンサルティングや技術検証を組み合わせて顧客企業に販売する。2010年1月中旬から販売活動を開始する予定。 Hadoopは米グーグルの分散ファイルシステム「GFS（Google File System）」と並列プログラミングモデル「MapReduce」の論文を基に開発されたオープンソースソフトウエア。SANやNASなどのストレージ装置を使わずに、安価なPCサーバークラスタだけで、数T～数Pバイトの大規模データを高速に解析できる。米ヤフーや米フェースブック、米JPモルガン・チェース、米VISA、中国移動通信（チャイナモバイル）などが大規模導入し
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
IT news, careers, business technology, reviews
Oozie — Yahoo!'s workflow engine for Hadoop
クックパッドのデータ処理、たった5万円：日経ビジネスオンライン
Hadoop Summit 2010からAmazon Elastic MapReduceをアップデート
agilecatcloud.com