Amazon EMR（Hadoopなどのビッグデータフレームワークを簡単に実行）| AWSAmazon EMR Apache Spark、Hive、Presto、その他のビッグデータワークロードを簡単に実行してスケールする
Hadoop MapReduce デザインパターンの3章まで読んでみた。 - wyukawa's diary
Hadoop MapReduce デザインパターン ―MapReduceによる大規模テキストデータ処理 作者: Jimmy Lin,Chris Dyer,神林飛志,野村直之,玉川竜司出版社/メーカー: オライリージャパン発売日: 2011/10/01メディア: 大型本購入: 4人 クリック: 254回この商品を含むブログ (16件) を見る いわゆる子象本。小象でも小僧でも無いよw 監修者のブログの Hadoop MapReduce デザインパターン - 急がば回れ、選ぶなら近道 で詳しく紹介されています。 原著はこちら Data-Intensive Text Processing With MapReduce (Synthesis Lectures on Human Language Technologies) また原文のPDFをこちらから入手できます。 Jimmy Lin » Data
Hadoop on MacOSX
MacOSXにHadoopを擬似分散モードで動作できるようにインストールした時の記録です。 利用した環境は次の通りです。 MacOSX Snow LeopardHadoop 0.20.2 また、参考にしたページは次のページです。 Hadoop, HDFS and Hbase on Ubuntu & Macintosh LeopardHBase/Hadoop on Mac OS XこのページにはHBaseのインストールまで記載されていますが、まだそこまでやっていないので、機会があればということで。 ダウンロードダウンロードページから、適当なミラーサイトを選んでダウンロード。 /usr/local に展開します。 $ pwd /usr/local $ sudo tar zxvf /path/to/hadoop-0.20.2.tar.gz $ sudo ln -s hadoop-0.20.2 h
Hadoopシステム構築のノウハウ
前回までの記事では、Hadoopがどのような背景で登場したのか、どのような能力を持っているのか、リレーショナル・データベース管理システム（RDBMS）やKey-Value Store（KVS）型データベースとはどのように異なるのかを解説してきました。 今回は、Hadoopを実際にエンタープライズ（企業情報システム構築）用途に活用するにあたって、押さえておきたいポイントを解説します。 Hadoop活用の課題 Hadoopは、オープンソースとして開発されています。2006年にDoug Cutting氏によってHadoopプロジェクトが立ち上げられて以来、ほぼ4年が経過し、現在ではApache Software財団が支援するトップ・レベル・プロジェクトとして多数の開発者が参加しています。 プロジェクトが立ち上がった当時、Hadoopはわずか20ノードのクラスタで動作していました。現在では、米Ya
Welcome to Apache™ Hadoop™!
This is the first release of Apache Hadoop 3.4 line. It contains 2888 bug fixes, improvements and enhancements since 3.3. Users are encouraged to read the overview of major changes. For details of please check release notes and changelog. This is a release of Apache Hadoop 3.3 line. It contains 117 bug fixes, improvements and enhancements since 3.3.5. Users of Apache Hadoop 3.3.5 and earlier shoul
Hadoopでレコメンドシステムを作ろう 記事一覧 | gihyo.jp
運営元のロゴ Copyright © 2007-2024 All Rights Reserved by Gijutsu-Hyoron Co., Ltd. ページ内容の全部あるいは一部を無断で利用することを禁止します。個別にライセンスが設定されている記事等はそのライセンスに従います。
機械学習/MacでMahoutを使う - とうごろうぃき
2011-02-19 (土) 15:28:21 (4919d) | Topic path: Top / 機械学習 / MacでMahoutを使う はじめに † Apache Mahoutは，分散環境Hadoopの上で動くスケーラブルな機械学習ライブラリーです． ただし，「Hadoop上でMapReduceを使った機械学習をやりたい」という強い意思がないと，サンプルを動かして終わりになります． 「別にMapReduceでなくてもいい」という人は，別のツールを使ったほうがいいでしょう． この記事の内容は，Mac OS X 10.6.6, Hadoop 0.20.2, Maven 3.0.2, Mahout 0.40で確認しました． ↑ 必要なもの † Java SE 1.6 Mac OS X 10.6.6には標準でJava SE (JDK) 1.6が入っていると思います． ユーティリティーにあ
テキストマイニングで始める実践Hadoop活用
Hadoopとは何かを解説し、実際にHadoopを使って、大規模データを対象にしたテキストマイニングを行います。テキストマイニングを行うサンプルプログラムの作成を通じて、Hadoopの使い方や、どのように活用できるのかを解説します いまさら聞けないHadoopとテキストマイニング入門 テキストマイニングで始める実践Hadoop活用（1） それぞれの概要や構成、MapReduceの仕組み、Hadoopの活用場面などを解説し、Hadoopの実行環境を構築します
インフラエンジニアのためのHadoop情報 目次：So-net Developer Blog：So-netブログ
2010-12-27 11:21 nice!(0) コメント(20) トラックバック(0) 共通テーマ：パソコン・インターネット はじめまして どうぞよろしくお願いします 五便宝: http://www.hellokanpo.com/view/wodibo-capsules.html Cialis:http://www.hellokanpo.com/view/cialis.html 精力剤: http://www.hellokanpo.com/JingLiJi 女性用媚薬: http://www.hellokanpo.com/meiyao 媚薬: http://www.hellokanpo.com/meiyao 紅蜘蛛: http://www.hellokanpo.com/view/hongzhizhu1.html 早漏防止: http://www.hellokanpo.com/Jing
Hadoop conference japan 2011に参加してきた #hcj2011 · I Will Survive
February 24, 2011 - hadoop Hadoop conference japan 2011に参加してきました。 Hadoop Conference Japan 2011 - Eventbrite 今回の個人的トピック AWSがHBaseサポート予定 DremelはHadoopの補完的位置づけ DSLとしてのAsakusaの魅力 AmebaのpatriotはRubyDSLで簡単ジョブ記述 MySQLでもMapReduceできるよ HBaseを使うとシステムがシンプルになるよ 以下、メモ書きです。 Hadoop on クラウド / Amazon Elastic MapReduceの真価 * 11:30?12:05 * Amazon Web Services, Jeff Barr ( @jeffbarr ) * EMR removes ‘MUCK’(=ぬかるんだ感じ) fro
MapReduceによる大規模データを利用した機械学習
東京大学 松尾研究室が主催する深層強化学習サマースクールの講義で今井が使用した資料の公開版です． 強化学習の基礎的な概念や理論から最新の深層強化学習アルゴリズムまで解説しています．巻末には強化学習を勉強するにあたって有用な他資料への案内も載せました． 主に以下のような強化学習の概念やアルゴリズムの紹介をしています． ・マルコフ決定過程 ・ベルマン方程式 ・モデルフリー強化学習 ・モデルベース強化学習 ・TD学習 ・Q学習 ・SARSA ・適格度トレース ・関数近似 ・方策勾配法 ・方策勾配定理 ・DPG ・DDPG ・TRPO ・PPO ・SAC ・Actor-Critic ・DQN（Deep Q-Network） ・経験再生 ・Double DQN ・Prioritized Experience Replay ・Dueling Network ・Categorical DQN ・Nois
『モバゲーの大規模データマイニング基盤におけるHadoop活用』－Hadoop Conference Japan 2011－ #hcj2011
『モバゲーの大規模データマイニング基盤におけるHadoop活用』－Hadoop Conference Japan 2011－ #hcj2011 2011/02/22 [登壇後エントリ] ：" 「モバゲーの大規模データマイニング基盤におけるHadoop活用」－Hadoop Conference Japan 2011 #hcj2011 で登壇してきました " http://d.hatena.ne.jp/hamadakoichi/20110222/p1Read less
Eventbrite
Your version of Internet Explorer is not longer supported. Please upgrade your browser.
Hadoopの可用性について（私訳） - developer’s delight
この記事はClouderaのBlogの記事”Hadoop Availability | Apache Hadoop for the Enterprise | Cloudera”の私的翻訳です。Hadoopの可用性については興味のある方も多いと思いますので、読むついでに訳してみました。勢いで訳したので質に関しては責任を持てませんのでよろしくお願いします。間違いなどがありましたらご指摘いただければ助かります。(id:kkawamura)Apache Hadoopのメーリングリストでよくある質問は、可用性を保つためにどうするか？というものです。この記事では、Hadoopのコンテキストでの可用性について見ていき、進行中の開発の方向性を示します。背景Hadoopの可用性を議論するとき、人はよくNameNodeがHDFSにおいて単一故障点であるため、NameNodeから話をはじめます。そしてHadoo
グーグル発「Hadoop」、日本企業も利用へ
Hadoopは、グーグルが検索エンジン用に開発したバッチ処理システムを基に開発された、オープンソースソフトだ。グーグルが開発した分散ファイルシステム「Google File System（GFS）」を模した「Hadoop Distributed File System（HD FS）」と、データ処理機構「MapReduce」を模した「Hadoop MapReduce」で構成する。 米国では米VISAや米JPモルガン・チェースのような大手金融機関が、バッチ処理にHadoopを使用する。 そのHadoopがいよいよ、日本企業でも使われ始めた。例えば楽天は、ある商品に対するお薦め商品をリストアップする「レコメンド処理」にHadoopを使用する。NTTデータは、全国の渋滞情報をリアルタイムに可視化するシステムの構築にHadoopを採用した。三菱UFJインフォメーションテクノロジーもHadoopを使っ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Mahout in Action
Google Code Archive - Long-term storage for Google Code Project Hosting.
Amazon.co.jp: Hadoop in Action: Lam, Chuck: 本
Amazon.co.jp: Hadoop – The Definitive Guide 2e: White, Tom: 本
オープンソース分散システム「Hadoop」解析資料 - 株式会社プリファードインフラストラクチャー