Ubuntu10.04にhadoop-0.20.2のインストールを行った。 まず、/usr/local/にwgetでHadoop-0.20.2.tar.gzをダウンロードします。 ダウンロード後、解凍します。 sudo tar xvzf hadoop-0.20.2.tar.gz #解凍します。 passwordを入力します。 sudo mv hadoop-0.20.2 hadoop #ディレクトリ名をhadoopと変更します。 とりあえずダウンロード後、解凍までしたら、その後、 Hadoopを動かすユーザーを(hadoopとして)登録し、sshログインをパスワード無しで行えるよう設定します。 sudo adduser hadoop #ユーザー/グループ登録をします。 その際、パスワードを2回入力します。 sudo chown -R hadoop:hadoop /usr/local/ha
Hadoopはlog4jを使って、大量のログを生成しています。連日ジョブを走らせている ような環境では、NameNodeのログ領域はGバイト単位で肥大化してディスクを圧迫します。 ログの出力ディレクトリをシステム領域と共有している場合などは、ディスク残容量 不足でシステムトラブルの原因にもなりえます。 見落としがちですが、ログの管理もやっておきましょう。 ローテーションについては、Hadoopがやってくれているので、不要なログを抑制して 不要になった古いログは削除するようにします。 ログの抑制についてですが、CDHを使う限りHDFSへのアクセスにパーミッションを設定して はいないので、HDFSへの監査ログは不要と思われます。 しかも、この監査ログがHDFSへのアクセスの度に記録されるので、肥大化の原因になって ます。 log4j.properties中に定義されている「SNamesyste
2010年07月12日20:12 CentOS に Hadoop, Pig, Hive, HBase をインストール CentOS5.4 に Hadoop, Pig, Hive, HBase をインストールする備忘録です。まずは JDK をインストールします。JDK6 以上が必要です。 # http://java.sun.com/javase/ja/6/download.html から JDK6 をダウンロード sudo sh jdk-6u21-linux-i586-rpm.bin java -version # 1.6.0_21 次に、yum で簡単にインストールするために、リポジトリを追加します。これでインストールが格段に楽になりますね。 wget http://archive.cloudera.com/redhat/cdh/cloudera-cdh3.repo sudo mv clo
CentOS 5.4にVMware Server 2.0.2をインストールしてみました。 インストールするだけなら記事にするほどではありませんが、きちんとした環境を整えるには面倒な手順を踏まないといけませんでした。そこでもしまた同じような環境を整えることがあった場合、また一から調べるのは面倒なので記事にして備忘録とします。 本記事の内容は以下のようになります。 CentOS 5.4にVMware Server 2.0.2をインストール ゲストOSが突然落ちる不具合対策 Webブラウザを使わずに管理出来るようにする CentOS 5.4にVMware Server 2.0.2をインストール まずはVMware Server本体のインストールです。 ただ単にインストールするだけなら特に難しくもありません。 敢えて言うならVMware Server本体を入手するまでの手順が一番面倒であり、難易度
例外ってなに? プログラムを書いていると、try ... catch を書くのがめんどうになったことはありませんか。 たとえば、リスト 1 はファイルを読み込んで単に標準出力に出力を行うプログラムです。これを javac でコンパイルすると、図 1 のようにコンパイルエラーが起きて、コンパイルできません。そこで、「しょうがない、try ... catch を書くか」といって、リスト 2 のように書いたとします。「これでコンパイルはできたから OK」と済ませていませんか。 これでは例外から得ることのできるさまざまな有用な情報を捨ててしまっています。それだけでなく、想定していた動作を行うことができないかもしれません。 逆にいえば、例外を有効に使いこなせるようになれば、プログラムの堅牢性を高めることができ、また保守性も向上させることが可能です。そんな例外の基本から例外を使いこなす
最近挙動が不振だった手持ちのLinux Boxがとうとう逝ってしまわれた。 そういうわけで、VMWare なんぞに浮気してみた。 VMWareは現在、再生のみをサポートするVMWare Playerが無償公開されているが、いくつかのフリーソフトでVMの作成は出来てしまうので特に問題ないのである。 ただ、やってみるとこれが意外と色々なところで躓いてしまった。Web上には結構いろいろなサイトに情報が載っているのだが、殆どの記事がVMWare Player 公開直後に書かれたと思われる記事で、一部現状とあわないのである。 そういうわけで、全然目新しくもないVMWareのインストール記事を自分で書くことにしたわけ。 今回は以下の構成でインストールをおこなった。 HostOS: WindowsXP GuestOS: CentOS(Red Hat Enterprise Linux互換OS) Guest
「データのライフ・サイクル」を考える RDBMSは、「非定型処理への活用」、「バッチ処理のスケール・アウト」という観点で限界に突き当たっています。しかし、RDBMSの豊富な機能が現代のコンピュータ・システムに欠かせない存在であることも間違いありません。この矛盾をどう解決すればいいのでしょうか。 この問題を解決する鍵は、「データのライフ・サイクル」にあります。 RDBMSは、管理するデータはすべて「起きている(活動している)」、つまり「いつでも更新される可能性がある」ことを前提に設計されています。例えば、銀行の口座残高は、バッチ処理が進んでいる最中にも、ATMからの引き出しなどのリアルタイム処理で更新される可能性があります。 しかし、すべてのデータが「起きている」わけではありません。例えば、銀行口座の「昨日の取引履歴」は、過去のデータなので、更新される可能性はまずありません(過去の取引履歴を
Hadoopは、グーグルが検索エンジン用に開発したバッチ処理システムを基に開発された、オープンソースソフトだ。グーグルが開発した分散ファイルシステム「Google File System(GFS)」を模した「Hadoop Distributed File System(HD FS)」と、データ処理機構「MapReduce」を模した「Hadoop MapReduce」で構成する。 米国では米VISAや米JPモルガン・チェースのような大手金融機関が、バッチ処理にHadoopを使用する。 そのHadoopがいよいよ、日本企業でも使われ始めた。例えば楽天は、ある商品に対するお薦め商品をリストアップする「レコメンド処理」にHadoopを使用する。NTTデータは、全国の渋滞情報をリアルタイムに可視化するシステムの構築にHadoopを採用した。三菱UFJインフォメーションテクノロジーもHadoopを使っ
This page is DEPRECATED, please refer to the new source http://struts.apache.org/plugins/json/ The JSON pluginprovides a "json" result type that serializes actions into JSON. The serialization process is recursive, meaning that the whole object graph, starting on the action class (base class not included) will be serialized (root object can be customized using the "root" attribute). If the interce
1.はじめに エンタープライズシステムのような大量の情報管理を行うシステムにおいては、データベースシステムは必須です。現在、データベースシステムには、リレーショナルデータベース(RDBMS)以外にも、XML データベースやオブジェクト指向データベースと選択肢も増えています。しかし、既存リソースの再利用や使い勝手、性能、製品のブランド等を考慮すると、RDBMS が選択されることが多いと思います。 Java 側のオブジェクトと、RDBMS 側のレコードを対応付けて相互に変換することを O/R マッピングと言います。Java では O/R マッピングに関する処理は、DataAccessObject (DAO) パターン [3] によって局所化し、 DAO 内で JDBC によって RDBMS にアクセスするような設計がよく使われます(図 1-1)。 JDBC を使った O/R マッピングは、単調
opensslコマンド [サーバの実験室 Slackware] 作成 : 2003/02/16 修正 : 2003/10/13 修正 : 2011/05/22 "サーバの実験室"の検索 デフォルトで使用されるランダム情報ファイルやポリシー、CA の秘密鍵ファイルや証明書ファイルは、openssl.cnf で定義される。 openssl.cnf は、/usr/local/ssl ディレクトリ(デフォルト)に置かれる。 CA の開設 CA を開設するには、/usr/local/ssl/misc/CA.sh を使用する。 ./demoCA ディレクトリに、cacert.pem(CA 証明書)や private/cakey.pem(CA 秘密鍵)が作成される。 CA.sh から /usr/local/ssl/bin/openssl を実行しているので、パスを通しておくこと。 # misc/CA.s
先月まで,本連載ではJava SE 6u10の新機能を紹介してきました。今月からは,Java SE 6u10以外のアップデートリリースで取り入れられた機能を紹介していきます。 まずはじめに紹介するのが,JDK 6u7で導入されたVisualVMです。 なお,諸般の事情により本連載は今回より隔週の連載になります。今後,第1,第3週の月曜に記事が掲載されますので,ご了承ください。ただし,今月は第3週の月曜の21日が休みなので,その代わりに14日に掲載する予定です。 管理ツールVisualVM Java SEはJ2SE 5.0より管理の機能が強化されてきました。J2SE 5.0の開発テーマにはMonitoring & Managementがあげられていることからも,ソフトウエア管理が重要視されていることがわかります。 この流れはJava SE 6でも変わりありません。本連載でもJava SE 6
すべての対応言語一覧 対応言語はシンタックスハイライト用ライブラリ Rouge の対応言語に準じます。Redmine 5.0の場合はRouge 3.28が対応している209言語のハイライトが行えます。 abap : SAP – Advanced Business Application Programming actionscript : ActionScript [別名 as,as3] ada : The Ada 2012 programming language apache : configuration files for Apache web server apex : The Apex programming language (provided by salesforce) apiblueprint : Markdown based API description langu
前回と前々回では、主にバリデーション処理を解説しました。そのなかで、Struts 2でのバリデーション処理は、Actionメソッドが呼び出される前に自動的に実行されると説明しました。 じつは、自動的に実行される処理こそがインターセプターで、バリデーションもインターセプターの一つなのです。 インターセプターとは アメリカンフットボールの用語に、「インターセプト」があります。パスしたボールが守備側に横取りされることをいうのですが、Struts 2のインターセプターも、アメフトと同じようなイメージです。Actionメソッドが呼び出される前に、複数のインターセプターが割り込み、制御を横取りして実行されます。 図中の、ActionProxy、ActionInvocation、Resultは、Struts 2の核となるオブジェクトです。Servletコンテナからのリクエストがあると、(図ではActio
GCの動きを見たいときは -Xloggc: や -XX:+PrintGCDetails をつけて、GCViewer で見ていた。 これは時系列でのGCの動きや、メモリの推移を知るには便利だけど、細かい動きについては解り辛い。概要を知るには便利だけど、細かく知りたい時は不便という感じ。 # 使いこなせていないだけかもしれないけど。 GCが起きるメモリリークプログラムをさくっと書いてみる。 import java.util.List; import java.util.ArrayList; public class GCTest { public static void main(String[] args){ List<String> list = new ArrayList<String>(); for(;;){ String str = new String("hoge"); list.
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く