タグ

toolとJavaに関するpuppeteerのブックマーク (2)

  • MOONGIFT: » Java製のクローリングシステム「InfoCrawler」:オープンソースを毎日紹介

    Webサービスを作る上で、外部のデータを取得して何かしたいといったことは良くある。いや、外部に限ったものではない。ローカルのデータであっても取得して、それを検索したいという要望は良くあるものだ。 ユーザ側の検索画面 そうした時にクローラーを自作したりすると思うのだが、robots.txtの解釈や効率的なクローリング法を習得するのは大変なことだ。そこで試してみたいのがこれだ。 今回紹介するオープンソース・ソフトウェアはInfoCrawler、Java製のWebクローラーだ。 InfoCrawlerは設定項目も数多く、クローリングシステムとして優秀なものになると思われる。複数サーバ設置して分散化もできるようだ。HTMLや画像、各種バイナリ等ファイル種別を指定してクローリングを行うか否かを指定できる。 インデックスするファイルを指定する画面 認証が必要なサーバにも対応し、言語によってフィルタリン

    MOONGIFT: » Java製のクローリングシステム「InfoCrawler」:オープンソースを毎日紹介
  • MOONGIFT: » 要チェック!Ajax向けIDE「WaveMaker Visual Ajax Studio」:オープンソースを毎日紹介

    Prototype.jsやscript.aculo.us、jQueryなどのJavaScriptライブラリがあるお陰で、AjaxやJavaScriptを駆使したWebアプリケーションが容易に作成できるようになっている。が、まだまだGUIアプリケーション並みとはいかないのが現状だ。 サンプルアプリケーションを開いているところ それを打破できるかも知れないソフトウェアを紹介しよう。Webアプリケーション開発者皆さんにおすすめだ。 今回紹介するオープンソース・ソフトウェアはWaveMaker Visual Ajax Studio、Ajax開発向けIDE(統合開発環境)だ。 WaveMaker Visual Ajax StudioはJavaベースのソフトウェアで、Tomcatを使っている。起動後、localhost:8094でサービスが立ち上がる。ブラウザベースで動作するが、これはまさにIDEのW

    MOONGIFT: » 要チェック!Ajax向けIDE「WaveMaker Visual Ajax Studio」:オープンソースを毎日紹介
  • 1