タグ

まとめとhadoopに関するseapig_dolphinのブックマーク (6)

  • Hadoop関連技術メモ | tonbyブログ

    Hadoopユーザー会 http://hugjp.org/ Liberty On Hbase 20091113 Hadoop/HBase 開発:Liberty インデクサプロジェクトの例Hadoopユーザー会 http://hugjp.org/ Liberty On Hbase 20091113 Hadoop/HBase 開発:Liberty インデクサプロジェクトの例 http://www.slideshare.net/ykomiyam/liberty-on-hbase-20091113 Hadoop、hBaseで構築する大規模分散データ処理システム http://codezine.jp/article/detail/2448 Hadoopのインストールとサンプルプログラムの実行 http://codezine.jp/article/detail/2485 複数マシンへHa

  • Hadoop ウェブサイトを翻訳してみました

    メールアドレスがこのグループでは匿名化されているか、メンバーのメールアドレスを表示する権限がないため、元のメッセージを表示できません はじめまして、「あしたのオープンソース研究所」の河野と申します。 私たちのチームでは毎月1件オープンソースソフトウェアをとりあげて関連ドキュメントを日語に翻訳して紹介する、という活動を始めたのですが、先月 Hadoopをテーマにとりあげて、そのウェブサイトの枢要部分の翻訳を下記に公開するとともに、Hadoopをテーマに行った座談会(勉強会)の記録 を公開しました。 ご興味をもっていただけるとうれしいです。 Apache Hadoop ウェブサイトの翻訳 http://oss.infoscience.co.jp/hadoop/ Apache Hadoop に関する座談会 http://oss.infoscience.co.jp/hadoop/roundtab

  • 企業で使われるHadoop

    Copyright © 2004-2024 Impress Corporation. An Impress Group Company. All rights reserved.

  • Hadoopリンクまとめ(1) - 科学と非科学の迷宮

    Part1 / Part2 更新履歴 2010/06/20 リンク追加 入門、事例紹介、ニュース Part2へ移動 EC2、Pig、MapReduce、HDFS 新規追加 性能測定 公式 Welcome to Apache Hadoop! 日語訳 Hadoopユーザー会 Welcome to Hadoop MapReduce! "大規模な計算ノード・クラスタ上において膨大なデータを高速で並列処理するアプリケーションを作成するためのプログラミングモデルおよびソフトウェアフレームワーク" Welcome to Pig! "大規模なデータセットを分析するためのプラットフォーム""Pig の言語レイヤを構成しているのは、Pig Latin と呼ばれるテキストベースの言語" wikipedia Apache Hadoop - Wikipedia, the free encyclopedia Apa

    Hadoopリンクまとめ(1) - 科学と非科学の迷宮
  • [B! hadoop] t-horikiriのブックマーク

    今回から、コンテンツベースのレコメンドのHadoopによる実装を紹介します。 おさらい:協調フィルタリング 第3回~第5回に紹介した協調フィルタリングでは、入力データに履歴、アイテム間の類似性を計算するためにコサイン関数を使いました。その結果、アイテムごとに類似性の高いアイテム、すなわち、各アイテムを評価(購入、ダウンロード、チェック、クリックなど)したユーザが他に評価したアイテム集合を見つけることができました。 このアイテム集合が、「⁠このアイテムを評価している人はこのアイテムも評価しています」というタイプのレコメンドの基情報で、アイテムベースのレコメンドになります。同じ履歴およびコサイン関数を使って、ユーザ間の類似性も計算できます。ここで前提としているのは、「⁠ターゲットユーザ(レコメンドの対象ユーザ)と同じようなアイテムを評価するユーザは、ターゲットユーザと嗜好も似ている。したがっ

  • そろそろHadoopについてひとこと言っておくか - nokunoの日記

    もうこの手の話題は出尽くした感がありますが、最近Hadoopについて考えることが多いので、エントリにしてみます。なお、ここではベーシックなMapReduce+HDFSのことをHadoopと呼ぶことにします。 HadoopとはHadoopとは言わずと知れたGoogleMapReduce/GFSのオープンソースのクローンです。MapReduceではプログラマはMapとReduceという2つの関数を書くだけで、並列分散処理をすることができます。これは(1) データを実際に持つマシンにプログラムを配布する (2) MapとReduceをつなぐShuffleフェーズでキーをグループ化してソートする、(3) 障害時のフェールオーバーやレプリケーション、といった処理をフレームワーク側が受け持つことによって、プログラマ側の負担を減らすものです。GFSに対応するHDFSにはファイルをクラスタに分散して保存

  • 1