Hadoopはlog4jを使って、大量のログを生成しています。連日ジョブを走らせている ような環境では、NameNodeのログ領域はGバイト単位で肥大化してディスクを圧迫します。 ログの出力ディレクトリをシステム領域と共有している場合などは、ディスク残容量 不足でシステムトラブルの原因にもなりえます。 見落としがちですが、ログの管理もやっておきましょう。 ローテーションについては、Hadoopがやってくれているので、不要なログを抑制して 不要になった古いログは削除するようにします。 ログの抑制についてですが、CDHを使う限りHDFSへのアクセスにパーミッションを設定して はいないので、HDFSへの監査ログは不要と思われます。 しかも、この監査ログがHDFSへのアクセスの度に記録されるので、肥大化の原因になって ます。 log4j.properties中に定義されている「SNamesyste

2010年07月12日20:12 CentOS に Hadoop, Pig, Hive, HBase をインストール CentOS5.4 に Hadoop, Pig, Hive, HBase をインストールする備忘録です。まずは JDK をインストールします。JDK6 以上が必要です。 # http://java.sun.com/javase/ja/6/download.html から JDK6 をダウンロード sudo sh jdk-6u21-linux-i586-rpm.bin java -version # 1.6.0_21 次に、yum で簡単にインストールするために、リポジトリを追加します。これでインストールが格段に楽になりますね。 wget http://archive.cloudera.com/redhat/cdh/cloudera-cdh3.repo sudo mv clo

例外ってなに? プログラムを書いていると、try ... catch を書くのがめんどうになったことはありませんか。 たとえば、リスト 1 はファイルを読み込んで単に標準出力に出力を行うプログラムです。これを javac でコンパイルすると、図 1 のようにコンパイルエラーが起きて、コンパイルできません。そこで、「しょうがない、try ... catch を書くか」といって、リスト 2 のように書いたとします。「これでコンパイルはできたから OK」と済ませていませんか。 これでは例外から得ることのできるさまざまな有用な情報を捨ててしまっています。それだけでなく、想定していた動作を行うことができないかもしれません。 逆にいえば、例外を有効に使いこなせるようになれば、プログラムの堅牢性を高めることができ、また保守性も向上させることが可能です。そんな例外の基本から例外を使いこなす

最近挙動が不振だった手持ちのLinux Boxがとうとう逝ってしまわれた。 そういうわけで、VMWare なんぞに浮気してみた。 VMWareは現在、再生のみをサポートするVMWare Playerが無償公開されているが、いくつかのフリーソフトでVMの作成は出来てしまうので特に問題ないのである。 ただ、やってみるとこれが意外と色々なところで躓いてしまった。Web上には結構いろいろなサイトに情報が載っているのだが、殆どの記事がVMWare Player 公開直後に書かれたと思われる記事で、一部現状とあわないのである。 そういうわけで、全然目新しくもないVMWareのインストール記事を自分で書くことにしたわけ。 今回は以下の構成でインストールをおこなった。 HostOS: WindowsXP GuestOS: CentOS（Red Hat Enterprise Linux互換OS) Guest

「データのライフ・サイクル」を考える RDBMSは、「非定型処理への活用」、「バッチ処理のスケール・アウト」という観点で限界に突き当たっています。しかし、RDBMSの豊富な機能が現代のコンピュータ・システムに欠かせない存在であることも間違いありません。この矛盾をどう解決すればいいのでしょうか。 この問題を解決する鍵は、「データのライフ・サイクル」にあります。 RDBMSは、管理するデータはすべて「起きている（活動している）」、つまり「いつでも更新される可能性がある」ことを前提に設計されています。例えば、銀行の口座残高は、バッチ処理が進んでいる最中にも、ATMからの引き出しなどのリアルタイム処理で更新される可能性があります。 しかし、すべてのデータが「起きている」わけではありません。例えば、銀行口座の「昨日の取引履歴」は、過去のデータなので、更新される可能性はまずありません（過去の取引履歴を

This page is DEPRECATED, please refer to the new source http://struts.apache.org/plugins/json/ The JSON pluginprovides a "json" result type that serializes actions into JSON. The serialization process is recursive, meaning that the whole object graph, starting on the action class (base class not included) will be serialized (root object can be customized using the "root" attribute). If the interce

1.はじめに エンタープライズシステムのような大量の情報管理を行うシステムにおいては、データベースシステムは必須です。現在、データベースシステムには、リレーショナルデータベース(RDBMS)以外にも、XML データベースやオブジェクト指向データベースと選択肢も増えています。しかし、既存リソースの再利用や使い勝手、性能、製品のブランド等を考慮すると、RDBMS が選択されることが多いと思います。 Java 側のオブジェクトと、RDBMS 側のレコードを対応付けて相互に変換することを O/R マッピングと言います。Java では O/R マッピングに関する処理は、DataAccessObject (DAO) パターン [3] によって局所化し、 DAO 内で JDBC によって RDBMS にアクセスするような設計がよく使われます（図 1-1）。 JDBC を使った O/R マッピングは、単調

opensslコマンド [サーバの実験室 Slackware] 作成 : 2003/02/16 修正 : 2003/10/13 修正 : 2011/05/22 "サーバの実験室"の検索 デフォルトで使用されるランダム情報ファイルやポリシー、CA の秘密鍵ファイルや証明書ファイルは、openssl.cnf で定義される。 openssl.cnf は、/usr/local/ssl ディレクトリ（デフォルト）に置かれる。 CA の開設 CA を開設するには、/usr/local/ssl/misc/CA.sh を使用する。 ./demoCA ディレクトリに、cacert.pem（CA 証明書）や private/cakey.pem（CA 秘密鍵）が作成される。 CA.sh から /usr/local/ssl/bin/openssl を実行しているので、パスを通しておくこと。 # misc/CA.s

トップ > CSSリファレンス > リファレンス 宣言 ◆ !important (C1/e4/N6/Fx1/Ch1/Op3.5/Sa1)

上記タグは次の点に注意してください。 必ずdiv要素を用意してください。divではない要素ではブログレスバーは表示されません。 id属性は必須です。id属性値をセットしてください。 HTMLのhead要素内に、次のJavaScriptコードを記述してください。 <script type="text/javascript" src="../html5jp/progress.js"></script> <script type="text/javascript"> window.onload = function() { var p = { to: 50 }; var o = new html5jp.progress("sample1", p); o.draw(); }; </script> このサンプルは、html5jpフォルダが一階層上に存在しているものとしてscript要素のsrc属性を