タグ

PythonとWorkに関するhiro-rockのブックマーク (2)

  • 2008-01-12 - Future Insight

    実際に取得した画像がどんなことになっているか把握したかったので、画像2100枚をHTMLで出力してみました。75x75の画像を読み込んでおり、画像をクリックするとlightboxして元のサイズの画像にアクセスします。下のtitleをクリックするとFlickrのページに飛びます。軽くなるように気をつけましたが、それでも結構CPUパワーを使うので、遅いPCで開くときは気をつけてください。 http://choichoi.sakura.ne.jp/idols/ こうやって眺めてみるとFlickrにあがりやすいアイドルとあがりにくいアイドルというのがいるようです。小倉優子は500枚取得しても、まだまだたくさん画像があるようでした。さすがグラビアを終わらせたアイドルです。この辺りの考察はまた後で行いたいと思います。 [追記]アイドルの名前のスペルミス、画像を取得できないアイドルの整理し、データを取り

    2008-01-12 - Future Insight
    hiro-rock
    hiro-rock 2008/01/13
    あとでグラビア 画像取得のpythonコード
  • Webstemmer(クローラーツール)

    語サイトでは、具体的な性能は測定していませんが、 以下のようなサイトで正しく動くことがわかっています: アサヒ・コム Nikkei NET Mainichi INTERACTIVE Yomiuri On-line IT media 東京新聞 日刊スポーツ 信濃毎日新聞 livedoor ニュース 使いかた Webstemmer をつかったテキスト抽出は以下のようなステップになります: まず、特定のニュースサイトから種となる HTML ページを多数取得する。 取得したページのレイアウトを学習する。 別の日に、同一のニュースサイトから新しい HTML ページを取得する。 2. で学習した結果をつかって、新しい HTML ページから文を抽出する。 1. および 2. のステップが必要なのは最初の 1回だけです。 ひとたびサイトのレイアウトを学習してしまえば、 あとはレイアウトが大きく変更さ

    hiro-rock
    hiro-rock 2007/09/03
    本文抽出クローラ
  • 1