エンジニアのための『仕事・職場・転職』応援サイト Ｔｅｃｈ総研ヘルプ リーダーインタビュー エンジニアあるある 仕事魂 最新技術 キャリアアップ 勉強会・イベント 技術豆知識 ビジネススキル 職場環境 会社訪問 人間関係 メンタルヘルス 給与・ボーナス 貯蓄・投資 採用全体動向 ＩＴ・Web系 モノづくり系 建築・土木系 ＩＴ・Web系 モノづくり系 転職体験談 職務経歴書・面接 健康 恋愛・結婚・家庭 こだわりのアレ 指定されたURLは存在しません。 プライバシーポリシー ご利用にあたって お問い合わせ エンジニアライフ応援サイト Ｔｅｃｈ総研
HDFSはファイルサーバーに使うものじゃないよ
Hadoop（0.22以前や1.0.0）のHDFSはNameNodeがSPOF（単一障害点）なので、ファイルサーバーやデータの“バックアップ”には向かないという話です。 HDFS上に構築されているHBaseの場合、（HBase自身にはSPOFは無いけれども）HDFSにSPOFがあるので、NameNodeは冗長化した方が良いようです。 冗長化には以下のような仕組みが考えられているようです。 続きを読む
Apache Hadoop - Wikipedia
Apache Hadoopは大規模データの分散処理を支えるオープンソースのソフトウェアフレームワークであり、Javaで書かれている。Hadoopはアプリケーションが数千ノードおよびペタバイト級のデータを処理することを可能としている。HadoopはGoogleのMapReduceおよびGoogle File System(GFS)論文に触発されたものである。 HadoopはApacheのトップレベルプロジェクトの1つであり、世界規模の開発貢献者コミュニティによって開発され、使用されている。[2] Hadoopは、以下の4つのモジュールによって構成されている。 Hadoop Common: 他のモジュールから共通して利用されるライブラリ群。 Hadoop Distributed File System (HDFS): Hadoop独自の分散ファイルシステム。 Hadoop YARN: Hado
Linux.comが選ぶ2011年の最も重要なオープンソースプロジェクト10選
Linux Foundationが運営するサイト「Linux.com」が、多くの重要なオープンソースプロジェクトから厳選した2011に最も重要だと考える10のプロジェクトの紹介です。どれもとても重要な役割を果てしているプロジェクトですが、選ばれたオープンソースプロジェクトは、Hadoop、Git、Cassandra、LibreOffice、OpenStack、Nginx、jQuery、Node.js、PuppetとLinuxとなっています。 Hadoop GoogleのMapReduce、Google File System(GFS)に触発されて開発された、大規模データの分散処理を支えるJavaソフトウェアフレームワーク。Yahooを始め、Amazon、IBM、Twitter、Facebookでも使用されています。 また、Hadoop自体は特別新しいものではありませんが、今年、Oracel
Top 10 Developer and Engineering Skills Employers Will Look for Going into 2012 | ServicesANGLE
Job listings give a view into company strategy and the direction of the overall market. Indeed is a job listing service that provides excellent analysis of top job skills. For our purposes, we looked at Indeed’s top 10 listings to give a glimpse into the top 10 developer and engineering skills that employers are looking for going into the new year. HTML5 MongoDB iOS Android Mobile app Puppet Hadoo
Hadoop 1.0.0 Release Notes
These release notes include new developer and user-facing incompatibilities, features, and major improvements. Changes since Hadoop 0.20.205.0 Jiras with Release Notes (describe major or incompatible changes) HADOOP-7728. Major bug reported by rramya and fixed by rramya (conf) hadoop-setup-conf.sh should be modified to enable task memory manager Enable task memory management to be configurable v
Hapyrus
BIG data processing on the CLOUD! Using Hapyrus, you can develop applications for your BIG data without special knowledge of parallel distributed programming. You can choose our application specified each domain and run your job on the cloud!! You can get a notifying mail when we are ready to offer our service to you! Please register from here or the 'Get Notified' button above.
米Cloudera、100％オープンソースの「Apache Hadoop」ベースディストリビューションをリリース | OSDN Magazine
米Clouderaは4月12日（米国時間）、Hadoopディストリビューション「Cloudera’s Distribution including Apache Hadoop v3（CDH3）」の一般提供を開始した。ClouderaのWebサイトより入手できる。 CDHは、大規模なデータ統合と分散コンピューティングのためのフレームワーク技術「Apache Hadoop」を中核とし、データ管理プラットフォームを統合したディストリビューション。事前検証・統合済みで、TwitterやGrouponなどの企業が導入しているという。ライセンスはApache License。 最新版では、前バージョンで統合していたデータウェアハウスのHive、データフローのPigなどに加え、Flume、Squoop、Hue、Zookeeper、HBaseなどのパッケージを新たに含み、標準APIにより全てのコンポーネン
blog.katsuma.tv
久々のBlog更新、というわけでリハビリがてらJavaScriptで軽く遊んでみたいと思います。 いま、巷で流行ってるMapReduceのオープンソース実装Hadoopは「Hadoop Streaming」という標準入出力でデータのやりとりができる仕組みを使って、 Hadoopの実装言語であるJavaにとらわれず、RubyやPerlなど他の言語でもMap＋Reduceの処理ができることが１つのウリになっています。 で、僕たちwebエンジニアはみんなJavaScript大好きなので、「JavaScriptでもMap Reduceやりたい！」という流れになるのは必然です。 そこで、試行錯誤でいろいろ試してみると割とさっくり出来たのでそのメモを残しておきたいと思います。 環境の整備 Mac OSX上のVMWare FusionにCentOSの仮想マシンを２台立ち上げて、環境セットアップしました。
1台構成のHadoopを30分で試してみる(Ubuntu + Cloudera)
(参考) Cloudera社のHadoopパッケージの情報 http://archive.cloudera.com/docs/ 必要なもの ・UbuntuやdebianのLinux環境1台(手元ではUbuntu Server 11.04/10.04/9.10/8.04, debian 5あたりで試していますが、他バージョンでも大丈夫だと思います) ・インターネット接続 ・Sun(Oracle)のJavaパッケージ(aptでインターネットからインストール) ・Cloudera社のCDH3のHadoopパッケージ(aptでインターネットからインストール) 作業手順 1. インストール: Linux環境にて、rootで作業します。 sudo su 1-1. Sun(Oracle)のJavaを入れます。(Sun(Oracle)のものが必要です。) ※ ここで、ubuntu 10や11の人は/etc
MongoDB & Hadoop: Flexible Hourly Batch Processing Model
The document describes how to use Gawk to perform data aggregation from log files on Hadoop by having Gawk act as both the mapper and reducer to incrementally count user actions and output the results. Specific user actions are matched and counted using operations like incrby and hincrby and the results are grouped by user ID and output to be consumed by another system. Gawk is able to perform the
mongo-hadoopを読んでいます - PolyPeaceLight
mongodb/mongo · GitHub ありていにいえば、文字通り、hadoop mapreduceでmongodbを使うためのプロジェクトです。 mapreduceのmainで public static void main( String[] args ) throws Exception{ final Configuration conf = new Configuration(); MongoConfigUtil.setInputURI( conf, "mongodb://localhost/test.in" ); MongoConfigUtil.setOutputURI( conf, "mongodb://localhost/test.out" ); final Job job = new Job( conf , "word count" ); job.setInputFo
Debian GNU/Linux で Hadoop の完全分散モードをインストール | Atsushi TATSUMA Web Page
はじめに 年末から年始にかけて、研究室で分散処理環境を構築しました。 有志数名で 8 台の PC を自作し、Hadoop をインストールしました。 インストール 1. Java をインストールする Sun の Java を使用するため、non-free を追加しているのがポイントです。 [bash] $ sudo vim /etc/apt/sources.list … deb http://ftp.riken.jp/Linux/debian/debian/ lenny main non-free deb-src http://ftp.riken.jp/Linux/debian/debian/ lenny main non-free … $ sudo apt-get update $ sudo apt-get install sun-java6-jdk $ sudo u
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
このページを見るには、ログインまたは登録してください
Koichi F. (@fujibee) | Twitter
News | Linux.com | The source for Linux information
Revolution Analytics - 統計用言語Rの商用化
GitHub - mongodb/mongo-hadoop: MongoDB Connector for Hadoop
HadoopとMongoDBを活用したソーシャルアプリのログ解析
IBM Developer