MOONGIFT: » Java製のクローリングシステム「InfoCrawler」:オープンソースを毎日紹介
Webサービスを作る上で、外部のデータを取得して何かしたいといったことは良くある。いや、外部に限ったものではない。ローカルのデータであっても取得して、それを検索したいという要望は良くあるものだ。 ユーザ側の検索画面 そうした時にクローラーを自作したりすると思うのだが、robots.txtの解釈や効率的なクローリング法を習得するのは大変なことだ。そこで試してみたいのがこれだ。 今回紹介するオープンソース・ソフトウェアはInfoCrawler、Java製のWebクローラーだ。 InfoCrawlerは設定項目も数多く、クローリングシステムとして優秀なものになると思われる。複数サーバ設置して分散化もできるようだ。HTMLや画像、各種バイナリ等ファイル種別を指定してクローリングを行うか否かを指定できる。 インデックスするファイルを指定する画面 認証が必要なサーバにも対応し、言語によってフィルタリン
ThreadとHashMapに潜む無限回廊は実に面白い？ (1/3) - ＠IT
ThreadとHashMapに潜む無限回廊は実に面白い？：現場から学ぶWebアプリ開発のトラブルハック（10）（1/3 ページ） 本連載は、現場でのエンジニアの経験から得られた、APサーバをベースとしたWebアプリ開発における注意点やノウハウについて解説するハック集である。現在起きているトラブルの解決や、今後の開発の参考として大いに活用していただきたい。（編集部） マルチスレッドのトラブルハックはさっぱり分からない… 対処が難しいトラブルといえば、GC（ガベージ・コレクション）とマルチスレッド処理に起因することが多い。 前々回（「肥え続けるTomcatと胃を痛めるトラブルハッカー 」）と前回（「JavaのGC頻度に惑わされた年末年始の苦いメモリ」）の2回にわたってGC、特にメモリ周りのトラブルを取り上げた。そこで今回は、マルチスレッド処理のトラブルの1つ、「レースコンディション（競合状態）
【コラム】Java API、使ってますか? (40) リソースアダプタによる接続の仕組み | エンタープライズ | マイコミジャーナル
JCAによる接続の仕組み 今回はJCAを用いてJavaアプリケーションからエンタープライズシステムに接続する際に、アプリケーションサーバやリソースアダプタの内部で何が起こっているかを説明する。とくにリソースアダプタの中身を理解することは、独自のリソースアダプタを作成する上で必要不可欠である。実際に実用的なリソースアダプタを作成する際には、このほかにトランザクション管理やセキュリティ、インバウンドコミュニケーションなどに対する理解が必要となるが、誌面の都合もあるため、今回は接続管理の部分のみに的を絞って紹介したい。 JCA 1.5のコネクション管理のアーキテクチャは図1のようになっている。この図はJCA 1.5の仕様書より引用したものである。このうち、灰色で囲まれたPoolManagerやTransactionManagerなどはアプリケーションサーバの持つ機能であり、その他がJCAで定義さ
初心者がJavaを“超高速”で学ぶためのコツ：ITpro
皆さんの中には，「いまどきJavaくらいできなきゃねぇ～」と言われてからもう何年も過ぎちゃった…なんて人も多いのではないでしょうか。いつ何時「新しいプロジェクトはJavaでいくから」なんて上司に言われたりしないか，内心ドキドキしてる方もいらっしゃるでしょう。私が受け持つJavaの授業でも，受講生の方からそういった悩みをよく聞きます。 しかしよく聞いてみると，なんだかとても効率の悪い勉強をしているなあと驚くことがあります。なぜなら多くの方が「Javaの入門書で勉強しているのにJavaのプログラムを作れるようにならない」と言われるからです。COBOLやC言語のプログラミング経験があるにもかかわらずです。 なぜJavaの学習がなかなか進まないのでしょうか。残念ながら「Javaのスキルが上がらない」という方の多くは，「データとアルゴリズム」「Javaの文法」「オブジェクト指向」の三つをきちんと学べ
アマゾンはperlでできている - Javaジャバ言ってる間にも(7)
Ywcafe.net This Page Is Under Construction - Coming Soon! Why am I seeing this 'Under Construction' page? Related Searches: Dental Plans Online classifieds All Inclusive Vacation Packages Contact Lens Top 10 Luxury Cars Trademark Free Notice Review our Privacy Policy Service Agreement Legal Notice Privacy Policy
GWTとYahoo!のAPIを使って画像検索アプリ！ － ＠IT
前回「JavaをAjaxに変換するグーグルのGWTを使ってみよう」では、Google Web Toolkit（以下GWT）の概要を紹介しました。 GWT最大の特徴は、JavaでAjaxが開発できることです。Ajaxアプリケーションのクライアント側をJava言語で開発し、それをピュアなHTMLとJavaScriptに翻訳する「Java-to-JavaScriptコンパイラ」というユニークな技術をコアとした開発手法にあります。 具体的なAjaxアプリケーションを実際に作成することで、GWTのプログラミングやウィジェットあるいはリモート・プロシージャ・コールの機能といった本質的な要素へと迫っていきましょう。
Web 技術サイト Okapi Project
コンピュータ入門 コンピュータの基礎知識 コンピュータ用語辞典 Java 入門 実践 Java Java リファレンス Java コーディング規約 Java Tips Java 開発環境 オープンソース入門 Eclipse 使いへの道 JBoss で J2EE サーバ CVS でチーム開発 OpenOffice.org を使ってみよう セキュリティ入門 暗号化の基礎 PGP で安心メール オブジェクト指向入門 オブジェクト指向用語辞典 オブジェクト指向の基礎 Web サイトデザイン入門 HTML コーディング規約 SEO で見られるサイト オカピ・プロジェクト サイト設計 サブプロジェクト MOMONGA KAME プロセス10お店の看板 リッチクライアント入門 リッチクライアントの基礎知識 Flash でリッチクライアント開発 リッチクライアント EclipseRCP 履歴 変更履歴 バ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Javaでコンパイラの基礎を理解する