タグ

ブックマーク / gioext.hatenadiary.org (2)

  • 2ちゃんねるBOTの作り方 実装編2 - GIOの日記

    2ちゃんねるBOTの作り方 準備編 - GIOの日記 2ちゃんねるBOTの作り方 設計編 - GIOの日記 2ちゃんねるBOTの作り方 実装編1 - GIOの日記 同じファイルをダウンロードしないようにしよう この機能は実装方法に悩む 1.DATを前回読み込んだ分だけシークさせて、残りから画像を探す 2.ダウンロードした画像URLをDBにいれとく 3.前回ダウンロードした枚数回はダウンロードしない 2は無いとして、1がベストだと思うが、一番最初に思いついた3を実装します。 Appクラスを変更。yaml/storeでDAT番号をキーに枚数を永続化 class App def execute(board) root_dir = File.dirname(__FILE__) image_dir = "#{root_dir}/images" # db = YAML::Store.new("#{ro

    2ちゃんねるBOTの作り方 実装編2 - GIOの日記
  • 2ちゃんねるBOTの作り方 準備編 - GIOの日記

    アホな話 2ch画像まとめというウェブサービスをご存知でしょうか。 クロール?スパイダリング?スクレイピング?いわゆるBOTが2chに書き込まれた画像を取得し、 まとめて見れるようにしたサイトなのですが、今日、次の記事を見つけた。 http://www.oshiete-kun.net/archives/2009/02/2chdl.html アホすぎる。クローラのクローラなんて。。 しかも、2ch画像まとめで見れる画像は全てWeb用に縮小した画像です。 ダウンロードするようなコレクターはオリジナルをダウンロードしたほうが良いですよ。 ということでBOTつくりましょう。 前知識 まずはコードを書く前に2chのしくみを簡単に。 2chはスレッド型掲示板の集合であり、全ての掲示板は次のHTMLファイルに一覧されてます http://menu.2ch.net/bbsmenu.htmlたとえばニュー速

    2ちゃんねるBOTの作り方 準備編 - GIOの日記
  • 1