[B! java][Web] t_otodaのブックマーク

Javaですべての上場企業のと地方自治体のサイトをスクレイピングして大変だったこと - Qiita

私は主にJavaを使って大量のサイトからクロールとスクレイピングをしています。作っているサイトは happyou.info です。上場企業と官公庁と地方自治体とその他1万サイトくらいスクレイピングしています。このエントリでは、技術的なこと特にめんどうくさかった点を書き残しておきたいと思います。基本的なことかもしれませんが、私自身忘れそうなところもあるので。 1.上場企業は企業が入れ替わる上場企業は毎日企業が入れ替わります。新規上場、上場廃止、合併、分社化、企業名変更は毎日のことです。この変化にキャッチアップするのが難しかったです。日本取引所グループ「よし上場前からきっちりスクレイピングして事前に準備しておくぞ」と思っても、上場にあわせてサイトをリニューアルしたりする企業も多いので油断なりません。官公庁のサイトは、民間企業に比べるとはるかに移転が少なく落ち着いています。地方公共

t_otoda 2015/10/18

リンク

Spring3.1概要データアクセスとトランザクション処理

5. デーアクセス層の役割業務ロジックからデータアクセスの処理を隠ぺいする永続化の仕組みが変わっても業務ロジックへの影響がないアプリケーションの肝である業務ロジックのメンテナンス性が上がるプレゼンテーションビジネスロジックデータベースアクセス RDB ブラウザ表示の仕組み永続化の仕組み業務の仕組み 6. データアクセスの処理が混在した業務ロジック (1/3) 業務ロジックとデータアクセスの処理が混在するとプログラムが複雑になるサンプルコード：ある口座から他の口座にお金を振り込む transfer メソッド業務ロジック 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 public void transfer(Account from, Account to, int furikomigaku)

t_otoda 2014/02/28

リンク

JavaからHTML5ヘ。業務システムの開発におけるWeb技術の変化と適応事例

JavaからHTML5ヘ。業務システムの開発におけるWeb技術の変化と適応事例佐川夫美雄（Ashiras, inc.）フロント開発の現場では、Java中心の開発から、HTML、CSS、JavaScript中心の開発にかわりつつあります。今回は具体的な事例をもとに、実装アーキテクチャや開発インフラに、どのような変化が起きているかレポートします。はじめに HTML5が2014年に正式勧告されることを受け、フロント業務アプリケーションに影響を与えています。より多くのことがHTMLやCSSでできるようになり、現場レベルでは開発スタイルそのものの見直しも行われています。実際、私が担当しているプロジェクトではJava中心の開発からHTML、CSS、JavaScript中心の開発へと開発環境を変えています。具体的に何をどのように変更しているのかを、私が担当しているプロジェクトの内容に沿ってご説明

t_otoda 2013/11/07

リンク

「本当の基礎からのWebアプリケーション入門――Webサーバを作ってみよう」始めました - K.Maebashi's はてなブログ

以前から「誰か書いてくれませんかね」とか言っていた「本当の基礎からのWebアプリケーション入門――Webサーバを作ってみよう」ですが、誰も書いてくれないので自分で書きました。本当の基礎からのWebアプリケーション入門――Webサーバを作ってみよう http://kmaebashi.com/programmer/webserver/index.html 現状、合計で140行くらいのJavaプログラムで、普通に画像やCSSを含むWebページが表示できています。こちらのページの下のほうにも画像を貼っていますが、こんな感じで、ローカルのファイルシステムに置いてある私のWebサイトのトップページが表示できていますし、もちろんリンクをクリックして遷移することもできます。「えっ? Webサーバってこんなに簡単に書けるの?」と思う人も多いのではないでしょうか。もちろんこんなのは「わかっている人」から

t_otoda 2013/08/05

リンク

オープンソースのワークフローエンジン「Activiti」入門

1. オープンソースのワークフローエンジン「Activiti」とは「Activiti」は、Apache2.0ライセンスのもとで配布されているオープンソースの“ワークフロー・エンジン”です。 BPMN2.0という規格に準拠していることから、“BPMN2.0エンジン”とも呼ばれています。 Activitiの開発は、オープンソースの「Enterprise Content Management（企業向けコンテンツ管理システム）」で有名な「Alfresco Software」によって行われています。 Activitiは、元JBoss jBPMのプロジェクトリーダーであり、開発者でもあったTom Baeyens氏らによって開発されました。よって、jBPMのVer.3およびVer.4のコンセプトを継承しており、JavaベースのWebアプリケーションへ組み込みやすいエンジンになっています。これまでの