This page moved.
4年ぶりにJavaでネットワークプログラミング。 はじめは java.net.Socket か java.net.HttpURLConnection クラスで実装しようと思っていたけど、commons にて HttpClient を発見。使ってみたら、スゲー便利。そうそう、こういうのを探してました! Jakarta Commons - HTTP Client ダウンロードするときは、パッケージ依存している commons-logging と commons-codecs もご一緒にどうぞ。 早速トライアルということで、POSTメソッドでIDとパスワードを送ってログインするプログラムを、Socket、HttpURLConnection、HttpClient の3つのバージョンで書いてみた。 まず、Socket の場合。あ、try ~ catch とかは省略してますんでご注意を。 String
アホな話 2ch画像まとめというウェブサービスをご存知でしょうか。 クロール?スパイダリング?スクレイピング?いわゆるBOTが2chに書き込まれた画像を取得し、 まとめて見れるようにしたサイトなのですが、今日、次の記事を見つけた。 http://www.oshiete-kun.net/archives/2009/02/2chdl.html アホすぎる。クローラのクローラなんて。。 しかも、2ch画像まとめで見れる画像は全てWeb用に縮小した画像です。 ダウンロードするようなコレクターはオリジナルをダウンロードしたほうが良いですよ。 ということでBOTつくりましょう。 前知識 まずはコードを書く前に2chのしくみを簡単に。 2chはスレッド型掲示板の集合であり、全ての掲示板は次のHTMLファイルに一覧されてます http://menu.2ch.net/bbsmenu.htmlたとえばニュー速
2ちゃんねるBOTの作り方 準備編 - GIOの日記 2ちゃんねるBOTの作り方 設計編 - GIOの日記 必要な機能を思いだそう 1.掲示板一覧からニュー速VIPのURLを取得 2.ニュー速VIPの全てのスレッド情報を取得 3.全てのスレッドから全ての画像URLを取得 4.全ての画像をダウンロード 5.同じ画像をダウンロードしないようにスレッド情報を保存 最初にAPIを決めよう 最初にAPIを決めるのはテスト駆動開発を進めたり、美しいコードを書く上で有利です。まずはスケルトンコードっぽく実装 module Bot2ch class Menu def get_board(subdir) end end class Board def get_threads end end class Thread def get_images end end class NormalImageDownlo
提供するコンテンツ クローラが15分に1回掲示板を巡回するので、それにあわせて15分に1回更新する。ほとんどのページを静的に生成し、サーバ負荷を極力抑える。 最近実況が終了した番組 番組名、頻出したキーワード(タグ)、レス数、参加人数(ユニークID)数、速度、1IDあたり投稿数などの情報を提供する。 最近人気だったレス レスを多くもらったレスを紹介する。実況板のフロー感を実況板未経験の人に体感してほしい。 活発に書き込みをしているID 2ch実況板は強制ID制なので、これを利用する。ちなみに、衛星実況板には本当に朝から晩までひたすらBS1の実況をしている人がいた。何者だ。 瞬間風速ランキング 書き込み数が前の単位時間より大幅に増えたときのレス内容やタグを出す。瞬間風速が高いときにはこのタグが多い、というのが分かると面白い。多分「∀」とか「キター」とかだと思うけど。 番組
バージョン管理システムを構築する。ここでは、広く普及しているバージョン管理システムであるCVSの改良版であるSubversionでバージョン管理システムを構築する。 ※Webサーバー構築済であること [root@centos ~]# vi /etc/httpd/conf.d/subversion.conf ← Apache用Subversion設定ファイル編集 以下を最終行へ追加 <Location /repos> DAV svn SVNParentPath /var/www/svn SVNAutoversioning on 内部からのみアクセスする場合(ここから) Require local Require ip 192.168.1.0/24 ← 内部ネットワークアドレスを指定 内部からのみアクセスする場合(ここまで) # Limit write permission to list o
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く