Preferred Networks におけるHadoop - Preferred Networks Research & Development
Preferred Networks （以下PFN）では、「現実世界を計算可能にする」「全てのひとにロボットを」という目標のもと、機械学習を始めとしたあらゆる計算技術を用いて研究開発に日々取り組んでいます。その過程では必ずといっていいほど、データの保存や読み出しが必要になります。ここでは、我々がどのようにデータ管理をしているか、また、その過程でどのようにHadoopを利用しているかについて紹介したいと思います。 写真: PFNカラーリングのストレージサーバー Hadoop導入の経緯 Hadoopが多く利用されているようなログ分析や、エンタープライズ向けのETL処理やデータサイエンスに比べると、深層学習の分野でよく利用されているような規模のデータは比較的小さいです。よく画像認識のベンチマークとされるImageNetの2012年のコンペで利用されたデータセットは200GB程度です。これはそもそ
第1回 なぜ、Hadoopはどのように動くのか、を学ぶのか | gihyo.jp
はじめに ビッグデータ解析のためのシステム基盤として、Hadoopをはじめとするオープンソースのデータ処理ソフトウェア（データ処理系）が広く利用されつつありますが、当該データ処理系をすでに利用している、もしくは利用の検討をしている読者の方々の中には、たとえば以下のような問題を抱えている方が少なからずいらっしゃるのではないでしょうか。 データ処理系の使い方はなんとなくわかるが、その内部をあまり理解できていない。または、内部の動作原理がよくわからないので、本格的に使う気にならない。 同様の目的を達成する複数のデータ処理系において、どれを使って良いかがよくわからない。または、適切に使い分けられていない気がする。たとえば、どのような場合にHadoopを用いて、どのような場合に同類のデータ処理系であるImpalaやSparkを用いれば良いかが“明確に”わからない。 このような問題を解決するには、
JavaOne 2013 Presentation: Next Generation Hadoop: It's Not Just Batch!
Hadoop is rapidly becoming the kernel for distributed computing. Hadoop is known as the de facto tool for anything related to batch processing, but the little-known secret is that in recent years, it has become much more than batch. The introduction of tools and technologies such as HBase, Impala, and the next-generation MapReduce architecture have brought real-time capabilities to Hadoop, and it
Sqoopメモ(Hishidama's Apache Sqoop Memo)
概要 インストール [/2012-06-19] 使用例 MySQL [/2012-06-01] PostgreSQL [/2012-06-01] Oracle [/2012-06-22] 使用上の注意 [2012-05-12] Sqoopの内部（ソース） [/2012-07-07] 概要 Sqoopは、RDBとHDFS間でデータ転送を行うツール。 2012/4/2にApacheのincubatorプロジェクトからトップレベルプロジェクトに昇格した。 データ転送はMapタスクのみのMapReduceで並列して分散実行される。 RDBへのアクセスはJDBC経由。 テーブル定義もRDBから読み込んでくれる。 import RDBのテーブルを読み込んでHDFS上のファイルに出力する。 差分だけ取り込む事も出来る（merge）。ただし削除は出来ない。 export HDFS上のファイルを読み込んでR
Hadoop distribution bake-off and my experience with Cloudera and MapR
Scalable & Distributed Computing for noobs, nerds and the elite Hadooper and Hadooperette. A few months back we started to endeavor on a new Hadoop cluster @ medialets We have been live with Hadoop in production since April 2010 and we are still running CDH2. Our current hosting provider does not have a very ideal implementation for us where our 36 nodes are spread out across an entire data center
Hadoop and Vertica: The Data Analytics Platform at Twitter
Big Data Day LA 2015 - Scalable and High-Performance Analytics with Distribut... "R is the most popular language in the data-science community with 2+ million users and 6000+ R packages. R’s adoption evolved along with its easy-to-use statistical language, graphics, packages, tools and active community. In this session we will introduce Distributed R, a new open-source technology that solves the s
GitHub - hanborq/hadoop: A Hanborq optimized Hadoop Distribution, especially with high performance of MapReduce. It's the core part of HDH (Hanborq Distribution with Hadoop for Big Data Engineering).
A Hanborq optimized Hadoop Distribution, especially with high performance of MapReduce. It's the core part of HDH (Hanborq Distribution with Hadoop for Big Data Engineering). Here is our presentation: Hanborq Optimizations on Hadoop MapReduce HDH (Hanborq Distribution with Hadoop) Hanborq, a start-up team focuses on Cloud & BigData products and businesses, delivers a series of software products fo
Introducing Spring Hadoop | SpringSource Team Blog
Categories 2.0 (29) 2.5/2.1 (18) 3.0 (37) 3.1 (15) AMQP (7) Android (4) AOP (19) Apache Tomcat (7) Books (3) Builds (15) Bundlor (1) Business (26) Cloud Computing (46) Cloud Foundry (18) Containers (11) Data Access (38) dm Server (64) Enterprise Integration (17) Google (3) Green Beans (6) Groovy/Grails (47) Hyperic HQ (6) Hyperic IQ (1) IOC Container (31) Java (68) JMS (6) JMX (4) JSF (2) Manageme
MapReduceのパターン、アルゴリズム、そしてユースケース - きしだのHatena
Ilya Katsov氏による「MapReduce Patterns, Algorithms, and Use Cases」の翻訳 http://highlyscalable.wordpress.com/2012/02/01/mapreduce-patterns/ (下書きに入れて推敲するつもりが、なんか公開されてしまっていたので、あとでいろいろ修正すると思います) February 1, 2012 この記事では、Webや科学論文で見られる異なるテクニックの体系的な視点を与えるために、数々のMapReduceパターンとアルゴリズムをまとめた。 いくつかの実用的なケーススタディも提供している。 すべての説明とコードスニペットでは、Mapper、Reducer、Combiner、Partitionaer、ソーティングにおいてHadoopの標準的なMapReduceモデルを利用します。このフレー
『モバゲーの大規模データマイニング基盤におけるHadoop活用』－Hadoop Conference Japan 2011－ #hcj2011
『モバゲーの大規模データマイニング基盤におけるHadoop活用』－Hadoop Conference Japan 2011－ #hcj2011 2011/02/22 [登壇後エントリ] ：" 「モバゲーの大規模データマイニング基盤におけるHadoop活用」－Hadoop Conference Japan 2011 #hcj2011 で登壇してきました " http://d.hatena.ne.jp/hamadakoichi/20110222/p1Read less
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Resources | Cloudera
http://www.nttdocomo.co.jp/binary/pdf/corporate/technology/rd/technical_journal/new/vol20_3_024jp.pdf
Distributed Image Processing Using Hadoop MapReduce Framework | PDF | File Format | Convolution
http://adass2010.cfa.harvard.edu/ADASS2010/incl/presentations/O02_4.pdf
Flexible In-Situ Indexing for Hadoop via Elephant Twin
Hands on MapR -- Viadea
Hanborq Optimizations on Hadoop MapReduce
Hadoop World 2011: Hadoop Troubleshooting 101 - Kate Ting - Cloudera
Mellanox HP_Database Acceleration
http://infra-engineer.com/hadoop/hadoop-conference-japan-2011-fall%E3%81%A7%E4%BD%BF%E7%94%A8%E3%81%95%E3%82%8C%E3%81%9F%E8%B3%87%E6%96%99%E3%82%84%E3%81%A4%E3%81%B6%E3%82%84%E3%81%8D-hcj11f/