Javaですべての上場企業のと地方自治体のサイトをスクレイピングして大変だったこと - Qiita
私は主にJavaを使って大量のサイトからクロールとスクレイピングをしています。 作っているサイトは happyou.info です。上場企業と官公庁と地方自治体とその他1万サイトくらいスクレイピングしています。 このエントリでは、技術的なこと特にめんどうくさかった点を書き残しておきたいと思います。基本的なことかもしれませんが、私自身忘れそうなところもあるので。 1.上場企業は企業が入れ替わる 上場企業は毎日企業が入れ替わります。新規上場、上場廃止、合併、分社化、企業名変更は毎日のことです。この変化にキャッチアップするのが難しかったです。 日本取引所グループ 「よし上場前からきっちりスクレイピングして事前に準備しておくぞ」と思っても、上場にあわせてサイトをリニューアルしたりする企業も多いので油断なりません。 官公庁のサイトは、民間企業に比べるとはるかに移転が少なく落ち着いています。 地方公共
Seleniumを使ったWeb UI自動テストシステムの構築でやったことまとめ - うなの日記
Seleniumを使ったWeb UIの自動テストシステムを作ったので、やったこと・感想などをまとめてみます。 テスト対象 テスト対象は、AJAXなWebアプリです。 サーバーはREST APIを提供するのみで、UIは全てJavaScriptという構成。 サポートブラウザはIE7以降,Firefox3.6以降。(特定の組織内で使うものなので、Operaなどは未サポートです。) 使用したSelenium 2.x 系列を使いました。 WebDriverと統合されたあとのやつです。 言語はJavaを使用。 テストの目的 以下を目的としました。 機能追加/不具合改修でのデグレード防止 機能追加や不具合改修に伴う動作不正を検出し、デグレードを未然に防止する。 動作確認コストの削減による開発効率の向上 ブラウザごとの動作確認を自動テストを利用して行うことで、機能実装時の確認工数を減らす。 リリース前のリ
jMakiのサンプル - Ajax/Javaアプリケーション開発の参考にいかが? | エンタープライズ | マイコミジャーナル
以前、JSPやJSFを使ってAjaxアプリケーションを開発するためのフレームワークであるjMakiを紹介した。Ajaxアプリケーションの開発にはJavaScriptやJavaScript Ajaxフレームワークの利用が必要になる。jMakiはこれをJSP/JSFレベルまでこれを隠蔽するものだ。Java開発者がJavaScriptを意識せずともAjax Webアプリケーションの開発の開発が可能となる。同プロジェクトはGlassFishコミュニティメンバーという位置づけにある。 10日(米国時間)、GlassFishコミュニティのブログニュースサイトhttpThe AquariumにおいてjMakiのサンプルを紹介するポストが掲載された。同メッセージにおいて紹介されたサンプルサイトは次のとおり。 Building web 2.0 apps with jMaki Fun with jMaki:
JavaからAjaxアプリを生成 - Google Web Toolkit 1.2 RC1、OS X対応も | エンタープライズ | マイコミジャーナル
Googleは10月31日(米国時間)、Google Web Toolkitの最新版となるGoogle Web Toolkit(以降、GWT) 1.2 RC1を公開した。GWTはAjaxアプリケーションをJavaで開発するためのソフトウェア開発フレームワーク。GWTを活用するとJavaを使ってGoogle MapsやGmailのようなアプリケーションを開発することができる。 同プロダクトは正式版を目指したテストフェーズとしてのリリースで、ユーザからのフィードバックを受け指摘される重要な問題を解決したうえで1.2正式版を公開するとしている。1.2正式版のリリースは数週間後以内に実施される見通し。 1.2 RC1における主な変更点は次のとおり。 Mac OS Xサポートに追加 - Java仮想マシンへのホックがネイティブコードで実装されているため、これまでGWTはWindows XP/2000
403 Forbidden
＼閉鎖予定のサイトも売れるかも？／ アクセスがないサイトもコンテンツ価値で売れる場合も… ドメインの有効期限を更新してサイト売却にトライしてみましょう
【ハウツー】Makiって何よってのは兎も角、JavaScript不要JSP-JSFでAJAX - jMaki (1) AJAXデベロッパにもう一つの朗報 - jMaki (MYCOMジャーナル)
AJAXは主にJavaScriptの機能を使って実現されている技術だ。AJAXは使うぶんにはうれしい技術だが、作る方は大変だ。このため最近ではAJAX用のJavaScriptライブラリを使ってAJAXを実現することが多い。The Yahoo! User Interface LibraryやDojoなどこうしたライブラリは数多く存在する。 これらAJAX JavaScriptライブラリをさらにJSPやJSFで隠蔽して、Javaデベロッパから簡単に扱えるようにしようというプロジェクトに「jMaki」がある。JavaScriptをつかってAJAXを実現したいものの、正直なところJavaScriptを使うのは嫌だというデベロッパには朗報だ。jMakiはまさにそれを実現するためのプロジェクトである。本稿ではこのjMakiの使い方を紹介する。
Greg Murray's Blog: The XmlHttpProxy Client for Java
The XmlHttpProxy Client for Java Posted by gmurray71 on July 17, 2006 at 12:49 PM | Comments (1) One drawback of working with AJAX is that an AJAX-based client cannot make calls to URLs outside of its domain, which means that it cannot access services located on another server. A technique such as JSONP can help in this regard, but it has some limitations. One limitation is that including third-p
blueprints:
Javaデベロッパ向け AJAX FAQ Author: Greg Murray 訳: Yutaka Yoshida 私たちは現在すでにAJAXに触れ、まったく新しい世界が広がっていることに気づいています。 多くの開発者が既存のフレームワークを通してAJAXを使っていますが、より深くAJAXを知り、 今以上の機能を提供したい人もいるかもしれません。これはアプリケーションにAJAXの機能を 持たせたいJava開発者向けのFAQです。 AJAXを使うべきでしょうか AJAXはJavaと一緒に使えますか 現在使っているフレームワークにAJAXの機能はありますか 何から始めたらいいですか 自分でAJAXの機能を作るためには何を知っておかなければならないですか JavaScriptを知っていなければならないですか Java開発者用にどのようなJavaScriptライブラリやフレームワークがありますか
Google Web Toolkit - Google Code
GWT is used by many products at Google, including Google AdWords and Google Wallet. It's open source, completely free, and used by thousands of enthusiastic developers around the world. GWT is the official open source project for GWT releases 2.5 and onwards. This site houses links to the documentation, source code repository, issues list and information related to GWT roadmap and release. It is i
blueprints: AJAX BluePrints
Java BluePrints AJAX Components Asynchronous JavaScript with XML(AJAX) is emerging as a hot technology. The Java BluePrints is helping by providing an early access set of AJAX components for Java EE. These components are built using JavaServer Faces technology. An early access version of the solutions catalog including the new Java BluePrints AJAX components is now available for download. The co
AJAXを使ったJava製プロジェクトトラッキングツール - TrackIt 1.0.0 | エンタープライズ | マイコミジャーナル
The TrackIt teamは14日(米国時間)、TrackItの最新版であるTrackIt 1.0.0を正式に公開した。TrackIt 1.0.0はJavaで実装されたWebベースのプロジェクトトラッキングツール。Webアプリケーションとして動作し、プロジェクトを管理するための各種機能を提供する。 TrackIt 1.0.0はGNU LESSER GENERAL PUBLIC LICENSE Version 2.1のもとで公開されているオープンソースソフトウェア。開発者に対して最大限の柔軟性、カスタマイズ性、使い勝手のよさを提供することを目指して開発されている。 TrackIt 1.0.0における主な変更点は次のとおり。 ユーザインタフェーススタイルの拡張 依存しているHibernateおよびEcho2ライブラリの更新 トランザクション管理を改善するためのサービスレイヤに対する独立し
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
テンプレートエンジンの話 #jjug
mamezou.net
http://japan.internet.com/developer/20060926/print26.html
Insight: Medical Device Software Articles and Resources
SIX Ajax ライブラリ