管理が困難―分散処理の常識はZooKeeperで変わる
管理が困難―分散処理の常識はZooKeeperで変わる：ビッグデータ処理の常識をJavaで身につける（8）（1/3 ページ） Hadoopをはじめ、Java言語を使って構築されることが多い「ビッグデータ」処理のためのフレームワーク／ライブラリを紹介しながら、大量データを活用するための技術の常識を身に付けていく連載 分散処理の課題が「管理」なのは常識 複数の計算機上で動作（分散）するアプリケーション、ソフトウェアが多く存在します。分散ソフトウェアは複数の計算機で動作することで大量のデータを扱えたり、高負荷な状況に対処します。本稿では、複数の計算機（クラスタ）で動作する各サーバを「インスタンス」と呼びます。 本連載で紹介した分散Key-Valueデータベースである「HBase」は複数の計算機で動作する代表的なソフトウェアです。両ソフトウェアはともに「Apache ZooKeeper」（以下、Z
nginx設定 | 楽しく情報処理技術者試験
Apacheよりも高速軽量との評判高いWebサーバであるnginxの、設定方法やらインストール方法をいろいろハックしていきます。 nginxハカーの方には、ご意見やアドバイスをいただければと思います。 nginx初心者の方には、その魅力を知っていただくため、nginxとは何かを端的に表現した文章を紹介します。 「ApacheにはMicrosoftのWordのように100万ものオプションがあるが、実際には必要なオプションは6つだけである。nginxのオプションは6つだけである。ただ、その6つ内5つのオプションについては、Apacheの50倍高速に動作する。」 — Chris Lea — nginxインストール nginxをソースからインストール（＋基本設定） nginxをyumでインストール nginx.conf設定ファイル nginxとphp-fpmの組み合わせ設定 nginxバーチャ
Integrating Mahout with Lucene and Solr - Part 1/3 | Lucidworks
Introduction As Apache Mahout is about to release its next version (0.3), I thought I would share some thoughts on how it might be integrated with Apache Lucene and Apache Solr. For those who aren’t aware of Mahout, it is an ASF project building out a library of machine learning algorithms that are designed to be scalable (often via Apache Hadoop) and licensed under the Apache Software License (i
WordPressを100倍速くする！ MySQLの調整やnginx proxy cache | KRAY Inc
[追記１] 最後で説明しているproxy cacheの設定を修正しました。 [追記２] nginx proxy cacheでキャッシュしない場合の処理を変更しました。 [追記３] スマートフォンや携帯で閲覧した時にキャッシュしない設定を追加しました。 はじめに 大げさな題名ですが、今回はWordPress単体を速くするのではなく、データベースやWebサーバなどの調整、またnginxのproxy cache機能を使って速くする話になります。 サイトの構成によっては、proxy cacheは使えないかもしれませんが、使わなくても5倍程度速くすることはできましたので、参考にしていただければと思います。 今回行うチューニング一覧 DBを最適化するプラグインを導入する APCを導入してPHPを速くする MySQLを速くする 重いWordPressプラグインを外す nginx+FastCGIにする W
Apache Mahout - Overview
For Creating Scalable Performant Machine Learning Applications Download Mahout Apache Mahout(TM) is a distributed linear algebra framework and mathematically expressive Scala DSL designed to let mathematicians, statisticians, and data scientists quickly implement their own algorithms. Apache Spark is the recommended out-of-the-box distributed back-end, or can be extended to other distributed backe
Apacheに未パッチの脆弱性|セキュリティ・マネジメント|トピックス|Computerworld
Apacheに未パッチの脆弱性、リバース・プロキシ・モードで運用する場合に影響 10月に公開されたパッチが回避可能であることをクォリス研究者が発見 オープンソースのWebサーバ・ソフトウェア「Apache HTTP Server」に未パッチの脆弱性が見つかった。リライト・ルールが適切に定義されていない場合、攻撃者がこの脆弱性を悪用し、内部ネットワーク上の保護されたリソースにアクセスするおそれがある。 この脆弱性は、Apacheをリバース・プロキシ・モードで運用している場合に影響する。このモードは、複数サーバ間でのリソース分散を伴うロード・バランシングやキャッシングなどを行うために使われる構成を指す。 サーバ管理者は、リバース・プロキシとして動作するようにApache HTTPDをセットアップする場合、「mod_proxy」や「mod_rewrite」のような特殊なモジュールを使う。 米国Q
Apache Bench で性能測定だ - IT革命～
情報技術(アイティー)革命ではなくイット革命！IT化推進に役立つソフトウェアやWeb制作に関するネタを扱います。 Apache に付属しているベンチマークソフトを使ってみました。 Apacheには、標準で「ab」(Apache Bench) というツールが付属しています。 同時接続数とリクエスト数とURLを指定すれば、性能が測定できます。 ab コマンドによって、リクエストを発生させ、接続時間・処理時間・待ち時間などの統計を取得することができます。 例えば、同時接続数が 100で、リクエスト数 1,000 になるまで、http://example.com/index.html にアクセスするならば ab -n 1000 -c 100 http://example.com/index.html 認証が必要なページには、-A オプションを使用します。 -n 数値：テストで発行するリクエストの回
Home - Apache Flume - Apache Software Foundation
Apache Flume is a distributed, reliable, and available service for efficiently collecting, aggregating, and moving large amounts of log data. Its main goal is to deliver data from applications to Apache Hadoop's HDFS. It has a simple and flexible architecture based on streaming data flows. It is robust and fault tolerant with tunable reliability mechanisms and many failover and recovery mechanisms
軽量高速Webサーバのnginxで静的コンテンツ配信とキャッシュコントロール
nginxとは？ nginxはロシアで開発されている軽量で高速なWebサーバです。 現在シェアは 7% 近くあるようです。もちろんApacheに比べれば少ないですが、Apache 55%、IIS 25%, nginx 7%で3番目に使われているWebサーバになります。 昔は、Pound+Lighttpd+Apacheの組み合わせをよく使っていましたが、ここ数年はnginx+Apacheとかになりました。 主に、静的コンテンツをnginxが受け持ち、PHPなどの動的コンテンツはApacheに渡す形になります。Railsを使う場合は、nginx+Unicornの組み合わせが多いです。 いまさらな感じもありますが、インフラ周りの見直しも含めて紹介したいと思います。 静的コンテンツをnginxに任せる nginx+Apacheの場合の設定は次のようになります。（nginxがport 80、Apac
jXLSを使ったExcelテンプレートをSpring MVCのビューとして利用する方法 - 達人プログラマーを目指して
jXLSを使ってJSPと同様の方法でExcelファイルを生成する 業務アプリケーションでは好むと好まざるとにかかわらず、Excelファイルの入出力を行う必要がある場合が多くあります。JavaからExcelファイルの読み書きを行うOSSのライブラリーはいくつかありますが、中でもApache POIが有名です。以前は不安定だったり、機能が限られていたりしたところもあるのですが、長い時間をかけて現在ではかなり安定して使えるライブラリーになっています。 ただし、POIの最大の問題点は、提供されているAPIがあまりにも低水準であることです。単純なExcelファイルの帳票を作成するだけでも、多重ループを書きながらセルごとに値を転記するような面倒なコーディングが必要になります。 Excelのテンプレートファイルを作成しておき、そこに値をバインドすることでExcel帳票を生成するようなケースでは、jXLS
apacheのtrunk版で mod_luaを動かして遊んでみたログ - hibomaの日記
apacheの2.4系から Luaでapacheのフックを制御できる mod_luaモジュールが入るというネタを見かけたので、svnのtrunk版(2.3.*) を引っ張って試してみました。 (元々 mod_wombatという名前で開発されてたモジュールが2.4系からはmod_luaとしてリリースされるって経緯ぽい。ドキュメントはこちら) 現状のmod_luaでサポートしてるApacheのフックは下記の通りになります。 ap_hook_translate_name ap_hook_map_to_storage ap_hook_header_parser ap_hook_access_checker ap_hook_check_user_id ap_hook_auth_checker ap_hook_type_checker ap_hook_fixups ap_hook_insert_fil
the rapache project
First presented at DSC2005, rapache is a project supporting web application development using the R statistical language and environment and the Apache web server. The current release runs on UNIX/Linux and Mac OS X operating systems. Got questions? Stay informed by joining the rapache Google Group. Go Ahead and Kick the Tires! Download the rapache VMware Virtual machine To cite rapache, use the f
WicketでJSONデータを返却する(json-lib編) - tanamonの稀に良く書く日記
mavenの指定 <dependency> <groupId>net.sf.json-lib</groupId> <artifactId>json-lib</artifactId> <version>2.3</version> <classifier>jdk15</classifier> </dependency> <dependency> <groupId>commons-lang</groupId> <artifactId>commons-lang</artifactId> <version>2.4</version> </dependency> json-libではclassifierを忘れずに。 あと、DateクラスをISO8601形式の文字列に変換するためにcommons-langも使ってます。 JsonLibPage.java package jp.tanamon.wicket
Apacheのアクセス制御をちゃんと理解する。 - こせきの技術日記
Apacheの設定で Order deny,allowとか Satisfy anyとか、なんだか意味わからん人のために。僕はずっとわかってなかった。 基本 Apacheのアクセス制御には、 ホストによる制御 (Order,Allow,Deny) ユーザ認証による制御 (Auth*, Require) の2通りがある。 Satisfyは、2通りあるアクセス制御の両方を満たす必要があるかどうかを決定する。デフォルトはSatisfy all。Satisfy anyなら、どちらか片方満たせばよい。 Order http://httpd.apache.org/docs/2.2/mod/mod_authz_host.html#order Order deny,allowは、全てのホストからのアクセスを許可する。 Order allow,denyは、全てのホストからのアクセスを拒否する。 Order d
Apache LDAP StudioでLDAPはもう怖くない (1/3) - @IT
Apache LDAP StudioでLDAPはもう怖くない：CoolなEclipseプラグイン（21）（1/3 ページ） 「LDAPは難しいなぁ……」という人こそ ユーザー情報を管理するインフラとしてしばしばLDAPが利用されます。しかし、LDAPは非常に難解で取っつきにくいという印象があり、知識がない人には敬遠されがちです。本稿で紹介するApache Directory Studioを利用すると、Eclipseのビューを利用して視覚的にLDAPを操作できます。 また、GUIによる入力の補助を行ってくれるので、LDAPを利用する敷居がぐっと下がります。LDAPに興味を持っているけど、その難解さで利用に挫折した方は本稿を読んでLDAPを利用してみてください。 LDAPとApacheプロジェクト LDAP（Lightweight Directory Access Protocol）とは、ディ
サイトを公開する際に最低限抑えておきたい Apache の設定 | バシャログ。
こんにちは nakamura です。最近トルシエさんテレビ出すぎじゃありません？ウィイレヤロウヨ。オフサイドダヨ！ さてさて今回は意外と知られてないけど、サイトをインターネットに公開する際には知っておいた方が良い Apache の設定をいくつかご紹介します（一部 PHP の設定もありますが）。この設定をしていないからといって即危険にさらされるという訳でもありませんが、リスクの芽は摘んでおくに越した事はありませんよね。 無駄な HTTP ヘッダを返さない ディストリビューションにより異なるかもしれませんが、CentOS デフォルトの設定の場合 Apache が返してくる HTTP ヘッダは以下のようなものです。 HTTP/1.1 200 OK Date: Mon, 05 Jul 2010 01:01:14 GMT Server: Apache/2.2.3 (CentOS) X-Powered
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Linode Documentation
IBM Developer
lucene.grantingersoll.com is almost here!
IBM Developer
