Preferred Networks におけるHadoop - Preferred Networks Research & Development
Preferred Networks （以下PFN）では、「現実世界を計算可能にする」「全てのひとにロボットを」という目標のもと、機械学習を始めとしたあらゆる計算技術を用いて研究開発に日々取り組んでいます。その過程では必ずといっていいほど、データの保存や読み出しが必要になります。ここでは、我々がどのようにデータ管理をしているか、また、その過程でどのようにHadoopを利用しているかについて紹介したいと思います。 写真: PFNカラーリングのストレージサーバー Hadoop導入の経緯 Hadoopが多く利用されているようなログ分析や、エンタープライズ向けのETL処理やデータサイエンスに比べると、深層学習の分野でよく利用されているような規模のデータは比較的小さいです。よく画像認識のベンチマークとされるImageNetの2012年のコンペで利用されたデータセットは200GB程度です。これはそもそ
第1回 なぜ、Hadoopはどのように動くのか、を学ぶのか | gihyo.jp
はじめに ビッグデータ解析のためのシステム基盤として、Hadoopをはじめとするオープンソースのデータ処理ソフトウェア（データ処理系）が広く利用されつつありますが、当該データ処理系をすでに利用している、もしくは利用の検討をしている読者の方々の中には、たとえば以下のような問題を抱えている方が少なからずいらっしゃるのではないでしょうか。 データ処理系の使い方はなんとなくわかるが、その内部をあまり理解できていない。または、内部の動作原理がよくわからないので、本格的に使う気にならない。 同様の目的を達成する複数のデータ処理系において、どれを使って良いかがよくわからない。または、適切に使い分けられていない気がする。たとえば、どのような場合にHadoopを用いて、どのような場合に同類のデータ処理系であるImpalaやSparkを用いれば良いかが“明確に”わからない。 このような問題を解決するには、
JavaOne 2013 Presentation: Next Generation Hadoop: It's Not Just Batch!
Hadoop is rapidly becoming the kernel for distributed computing. Hadoop is known as the de facto tool for anything related to batch processing, but the …
Sqoopメモ(Hishidama's Apache Sqoop Memo)
概要 インストール [/2012-06-19] 使用例 MySQL [/2012-06-01] PostgreSQL [/2012-06-01] Oracle [/2012-06-22] 使用上の注意 [2012-05-12] Sqoopの内部（ソース） [/2012-07-07] 概要 Sqoopは、RDBとHDFS間でデータ転送を行うツール。 2012/4/2にApacheのincubatorプロジェクトからトップレベルプロジェクトに昇格した。 データ転送はMapタスクのみのMapReduceで並列して分散実行される。 RDBへのアクセスはJDBC経由。 テーブル定義もRDBから読み込んでくれる。 import RDBのテーブルを読み込んでHDFS上のファイルに出力する。 差分だけ取り込む事も出来る（merge）。ただし削除は出来ない。 export HDFS上のファイルを読み込んでR
Flexible In-Situ Indexing for Hadoop via Elephant Twin
This document discusses flexible indexing in Hadoop. It describes how Twitter uses Elephant-Twin, an open source library they developed, to create indexes at the block level or record level in Hadoop. Elephant-Twin allows minimal changes to jobs/scripts, indexes data without copying it, supports post-factum indexing, and indexes can be used to efficiently retrieve relevant data through an IndexedI
Hadoop and Vertica: The Data Analytics Platform at Twitter
Hadoop Summit 2012 - Hadoop and Vertica: The Data Analytics Platform at Twitter The document discusses Twitter's data analytics platform, including Hadoop and Vertica. It outlines Twitter's data flow, which ingests 400 million tweets daily into HDFS, then uses various tools like Crane, Oink, and Rasvelg to run jobs on the main Hadoop cluster before loading analytics into Vertica and MySQL for web
Hands on MapR -- Viadea
The document discusses MapR cluster management using the MapR CLI. It provides examples of starting and stopping a MapR cluster, managing nodes, volumes, mirrors and schedules. Specific examples include creating volumes, linking mirrors to volumes, syncing mirrors, moving volumes and nodes to different topologies, and creating schedules to automate tasks.Read less
Hanborq Optimizations on Hadoop MapReduce
2. Motivations • MapReduce is a proved and successful data processing framework. It can be implemented enough efficient and flexible. – MapReduce: Simplified Data Processing on Large Clusters – MapReduce: A Flexible Data Processing Tool • Hadoop is the most popular Open Source implementation of MapReduce, but it’s not so good implemented. – Long latency. – Inefficiency with low performance. – Not
Introducing Spring Hadoop | SpringSource Team Blog
Categories 2.0 (29) 2.5/2.1 (18) 3.0 (37) 3.1 (15) AMQP (7) Android (4) AOP (19) Apache Tomcat (7) Books (3) Builds (15) Bundlor (1) Business (26) Cloud Computing (46) Cloud Foundry (18) Containers (11) Data Access (38) dm Server (64) Enterprise Integration (17) Google (3) Green Beans (6) Groovy/Grails (47) Hyperic HQ (6) Hyperic IQ (1) IOC Container (31) Java (68) JMS (6) JMX (4) JSF (2) Manageme
MapReduceのパターン、アルゴリズム、そしてユースケース - きしだのHatena
Ilya Katsov氏による「MapReduce Patterns, Algorithms, and Use Cases」の翻訳 http://highlyscalable.wordpress.com/2012/02/01/mapreduce-patterns/ (下書きに入れて推敲するつもりが、なんか公開されてしまっていたので、あとでいろいろ修正すると思います) February 1, 2012 この記事では、Webや科学論文で見られる異なるテクニックの体系的な視点を与えるために、数々のMapReduceパターンとアルゴリズムをまとめた。 いくつかの実用的なケーススタディも提供している。 すべての説明とコードスニペットでは、Mapper、Reducer、Combiner、Partitionaer、ソーティングにおいてHadoopの標準的なMapReduceモデルを利用します。このフレー
『モバゲーの大規模データマイニング基盤におけるHadoop活用』－Hadoop Conference Japan 2011－ #hcj2011
『モバゲーの大規模データマイニング基盤におけるHadoop活用』－Hadoop Conference Japan 2011－ #hcj2011 2011/02/22 [登壇後エントリ] ：" 「モバゲーの大規模データマイニング基盤におけるHadoop活用」－Hadoop Conference Japan 2011 #hcj2011 で登壇してきました " http://d.hatena.ne.jp/hamadakoichi/20110222/p1Read less
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Resources | Cloudera
http://www.nttdocomo.co.jp/binary/pdf/corporate/technology/rd/technical_journal/new/vol20_3_024jp.pdf
Distributed Image Processing Using Hadoop MapReduce Framework | PDF | File Format | Convolution
http://adass2010.cfa.harvard.edu/ADASS2010/incl/presentations/O02_4.pdf
http://allthingshadoop.com/2012/07/10/hadoop-distribution-bake-off-my-experience-with-cloudera-and-mapr/
GitHub - hanborq/hadoop: A Hanborq optimized Hadoop Distribution, especially with high performance of MapReduce. It's the core part of HDH (Hanborq Distribution with Hadoop for Big Data Engineering).
Hadoop World 2011: Hadoop Troubleshooting 101 - Kate Ting - Cloudera
Mellanox HP_Database Acceleration
http://infra-engineer.com/hadoop/hadoop-conference-japan-2011-fall%E3%81%A7%E4%BD%BF%E7%94%A8%E3%81%95%E3%82%8C%E3%81%9F%E8%B3%87%E6%96%99%E3%82%84%E3%81%A4%E3%81%B6%E3%82%84%E3%81%8D-hcj11f/
