Quick Start
このドキュメントでは、Hadoop Distributed File System (HDFS のアーキテクチャを参照) や Map/Reduce フレームワークがどういうものなのかについて感触をつかんでもらうために、シングルノードの Hadoop を短時間で手軽にインストールして実行できるようにする方法を説明します。実際に Hadoop をインストールしたら、HDFS 上で簡単な操作を行い、サンプルジョブを実行します。 サポートされるプラットフォーム GNU/Linux は、開発プラットフォームおよび実用プラットフォームとしてサポートされています。Hadoop は、これまでにも 2000 ノードの GNU/Linux 上でデモンストレーションが行われています。 Win32 は開発プラットフォームとしてサポートされています。Win32 上では分散処理が十分にテストされていないため、実用プラ
Instructions
Main Home News Instructions Packages Mailinglists Contribute Documentation FAQ Miscellaneous Uploaders Bullseye-sloppy Bullseye Bookworm NEW Queue Diffstats bullseye bullseye-sloppy bookworm Feedback About Backports Debian Backports provides new packages with new features on supported Debian stable releases. As a matter of Backports policy, packages in the stable-backports suite are taken from Deb
Runtime error - Meta Search
Error message : Directory is not found or not writable (DATA_DIR) Directory is not found or not writable (DIFF_DIR) Directory is not found or not writable (BACKUP_DIR) Directory is not found or not writable (CACHE_DIR) Site admin: whitestar Copyright © 2006-2023 whitestar. All Rights Reserved. Icons powered by famfamfam. PukiWiki 1.5.0 Copyright © 2001-2006 PukiWiki Developers Team. License is GPL
Network/Cacti - Wiki in luac.net
選択した Host Template (ucd/net SNMP Host) にデフォルトで関連付けられているクエリ(Associated Data Queries)の Status が Success であり、Items と Rows が 0 でなければ成功。 Associated Graph Templates の Status が Not Being Graphed でなければ成功。 失敗している場合は SNMP 設定ができていない可能性が高いので、設定と PHP で SNMP が使えるか確認する。 cacti の場合は Devices の SNMP Options の各項目。PHP の場合は phpinfo() やコマンドラインの php -i で snmp 項目を確認する。 2. グラフの作成 Host Template に関連付けられている Graph Template,
hadoop インストールメモ - cuspos diary
ubuntu9.10にhadoop環境を構築。 ちょっとお試しレベルなので、擬似分散モードで構築。 参考にしたURL:http://metasearch.sourceforge.jp/wiki/index.php?Hadoop%A5%BB%A5%C3%A5%C8%A5%A2%A5%C3%A5%D7 環境 Linux ns1 2.6.24-27-server #1 SMP Thu Jan 28 00:36:19 UTC 2010 i686 GNU/Linux 下準備 sunのjavaと、SSHとrsyncが必要なのでインストール。 $ sudo apt-get install ssh rsync sun-java6-jdk $ java -version java version "1.6.0_12" Java(TM) SE Runtime Environment (build 1.6.0_
MapReduceのJava実装Apache Hadoopを使ってみた
■前編のメインとなるクラスはどうだった？ 次に、メインとなるクラスとして、sample.CharCountクラスを用意しますが、その前に前編で作成したMapReduceCharCounterAppクラスをもう一度見ておきましょう。 import java.util.List; public class MapReduceCharCounter { public static int[] charCount = new int[128]; public static void emit(ReduceInput input, int count) { charCount[input.key] = count; } public void count(String target) { charCount = new int[128]; MapTask map = new MapTask(); m
Hadoopの疑似分散モード by Inquisitor
スタンドアローンモードでの動作やビルド方法を確認したら、次は疑似分散モードです。 スタンドアローンモードではローカルのファイルシステムを使っていたのに対し、疑似分散モードでは分散ファイルシステム(HDFS)を使います。もちろん、マシンが1台なので、HDFSのコンテンツは本当はローカルにあるわけですが、見た目はそうではなくなります。 利用方法は、クイックスタートのとおりです（前に作成した入力データinputがあるとして）。 設定用のXMLファイル（core-site.xmlとhdfs-site.xml, mapred-site.xml）を書き換える パスフレーズなしでlocalhostにssh接続できるようにする HDFSのフォーマット bin/hadoop namenode -format Hadoopデーモンの起動 bin/start-all.sh 入力ファイルをHDFSにコピー（3番目
BASH:Born again AudioSwitcH Debian GNU/Linux に Hadoop をインストール
大学の研究室に余っていた PC を集めて Hadoop をインストールしてみました。 Cloudera 社が配布しているパッケージを利用すると簡単にできます。 ちなみに研究室の Debian は lenny でした。 1.Javaをインストールする Hadoop の実行には Java が必要になるのでインストールします。 Sun（今は Oracle ですか）の Java を使いたいのでリポジトリを若干修正します。 $ sudo vi /etc/apt/sources.list ... #deb http://ftp.jp.debian.org/debian/ lenny main dep http://ftp.jp.debian.org/debian/ lenny main non-free ... $ sudo apt-get update JDK をインストールして優先度を与えておきま
へ〜たのめも:Riak と Cassandra と HBase、あらまー! - livedoor Blog（ブログ）
2010年05月25日 Riak と Cassandra と HBase、あらまー! Mozilla Blog Riak and Cassandra and HBase, Oh My!の勝手訳。各分散 KVS の特徴が分析されていて興味深い……と思って訳してみた。この無様なタイトルは Google 翻訳による。 Riak と Cassandra と HBase、あらまー! 我々は、SoCorro Crash プロジェクトにおいて HBase との統合を進めているが、その話はちょっと置いておいて、今回はメトリック・チームが巻き込まれている別のプロジェクトについて話をしよう。 Mozilla Labs Test Pilotは、実世界の Firefox ユーザをから集めたデータを分析して、ユーザ・エクスペリエンスを向上させるための実験をしたり、定量的データを集めたりするためのプロジェクトだ。 私
サバカン | 技術情報 > Cactiによるネットワーク監視システム構築ガイド（3/5）
目次 はじめに、監視設計 CentOSセットアップ Cactiセットアップ（本ページ） カスタマイズ テンプレート、さいごに、参考リンク Cactiセットアップ ここからメインテーマであるCactiのインストールを行います。 冒頭でCactiをネットワークグラフソリューションと記載しましたが、Cacti自身はグラフ作成機能は持ちません。 実際のグラフ作成およびデータ保管はRRDtool(Round Robin Database Tool)が行います。 RRDtoolおよびCactiの理解のために、rrdtutorial(日本語訳)の一読およびrrdtoolコマンドを試してみることを強くお勧めします。 ちなみにRRDtoolとネットワーク監視ツールとして有名なMRTG(Multi Router Traffic Grapher)はともにTobias Oetikerにより開発されているソフトウェ
RRDTool+Cactiによるサーバ監視(Linux編)
Cactiでは、自分で作成したスクリプトの出力を利用してグラフを描画することができます。今回はMRTGでも監視していた、ルータのNAPTセッション数、CPUとHDDの温度（現用Athlon64用マザーボードでは、ケース内温度監視ができないので今回は省略。）、CPUファン回転数を監視してみました。なお、デフォルトのままではひとつのグラフに単一項目を表示する場合は問題ありませんでしたが、おやじがやったCPUとHDDの温度監視のように複数項目を表示させる場合は、正常に表示できませんでした。Cactiのドキュメントを見ると、「スクリプトをrootで実行しないと問題が出る可能性がある。」との記述があったので、cronの設定を変更しrootで実行させたところ問題なく表示できるようになりました。スクリプトでの表示を利用する場合は、あらかじめ設定を変更しておいてください。 # vi /etc/cron.d
第30回 RubyとHadoopで分散処理 Hadoop Streamingで外部データを読み込む | gihyo.jp
前回のおさらい 第28回ではHadoop Streamingの仕組みについて説明しました。今回は、実際にHadoop Streamingを利用してデータ解析したときの具体的な話や、利用してみて困った（ハマった）Hadoop Streaming特有の問題とその解決法について紹介していきます。 実際に利用してみて困った（ハマった）こと さて、第28回でも紹介しましたが今回Hadoopを利用したのはopen('http://tabemiru.com/2009'); return false;">たべみるのデータ解析のためです。たべみるのデータ解析では、食材名や地域名といった特定の値ごとにデータをまとめる処理が多く、またその処理速度が遅いのが問題だったのですが、このような処理はHadoop上（Ruby）でも比較的簡単に実装することができました。 それで最初は「これはスムーズにHadoop上に処理を
QNAP Systems Inc. - TS-410 Turbo NAS 製品紹介
QNAP TS-410 Turbo NASは4ベイ、2.5インチおよび3.5インチのSATA HDDネットワーク付属ストレージサーバです。そのiSCSIアプリケーションはSOHO,そして家庭ユーザー向けとなっています。大量データのバックアップ、管理、そして共有のためのストレージセンターとして、TS-410 Turbo NASは優れたハードウェア設計、比類ないパフォーマンス、システムの高い信頼性、そして多数のパワフルなソフトウェアアプリケーションを備えています。 優れた工業デザイン及びハードウェア仕様 低消費電力のTS-410 Turbo NASはMarvell 800MHz CPUおよび256MB DDRII RAMを取り入れ、激しいデータアクセス環境においてもその優れたパフォーマンスを保つことができます。NASはホットスワップ可能な4機のSATAハードドライブ、そしてマルチIP設定、フ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Error: Missing Dependency:
rhel 6b2 puppet missing dependencies - Linux Archive
はてなブログ | 無料ブログを作成しよう
複数マシンへHadoopをインストールする
Good night, Posterous