[B! python] infohackのブックマーク

Webstemmer のしくみ

back [English] 基本的な原理レイアウト分析ツール analyze.py 本文を抽出する extract.py パターンファイルの構造おわりに基本的な原理 Webstemmer では、以下のような仮定をもとにして Web ページを分析しています。すべての記事には共通した (たかだか数種類の) レイアウトが使われている。各ページにはメインとなる文章がひとつ含まれている。 (従って、この原理は日記や掲示板などのサイトには使えません) 記事の文章は毎日変わっても、そのレイアウトは変わらない。バナー広告やナビゲーションの HTML タグは同一レイアウトのページで不変。 Webstemmer はこの仮定をもとに、あるニュースサイトの同一レイアウトをもつページをまとめ、それらのページ中で「変化していない部分」をさがします。バナーやナビゲーション用のリンクなどはレイアウトが

infohack 2007/09/03

python

リンク

スクリプト言語「Python 3」のα版が公開 | エンタープライズ | マイコミジャーナル

Python Software Foundationは8月31日、スクリプト言語Pythonの次期バージョンα版「Python 3.0a1」をリリースした。Mac OS XとLinux、Solarisで動作が検証されたソースコードのほか、コンパイル済のWindows用バイナリが提供される。今回のリリースは、Python 3000というコード名でも知られるPythonの次期バージョン(Python 3.0)の初期開発版。Python 2.xに縛られず設計された経緯もあり、リリース以前から後方互換性が損なわれることがアナウンスされていた。 Python 2.0との差異としては、unicodeとstrに分けられていた文字列処理を改め、unicodeがstrになるという一本化が挙げられる。ソースコードの標準エンコーディング形式にも、UTF-8が採用された。Set型のリテラル表記が可能になった

infohack 2007/09/02

python

リンク

Pythonにディレクトリトラバーサルの脆弱性

印刷するメールで送るテキスト HTML 電子書籍 PDF ダウンロードテキスト電子書籍 PDF クリップした記事をMyページから読むことができます 30日（デンマーク時間）、Secuniaは「Python」に、脆弱性が発見されたと公表した。 Pythonは、日本のRuby同様に欧米で人気のあるプログラミング言語のひとつ。今回、ディレクトリトラバーサルの脆弱性が発見された。ディレクトリトラバーサルとは、「../」のようなパスをさかのぼり、管理者が意図していないファイルやディレクトリにアクセスしたり、アプリケーションを実行される攻撃手法。影響を受けるバージョンは、それぞれ以下のとおり。 Python 2.5.x 影響度は「Less critical」に位置づけられている。執筆時現在の解決策は、開発版である「Python 2.6」を利用すること。詳細は、下記のセキュリティーアドバイザ

infohack 2007/09/01

リンク

【ハウツー】「habu」 - Python版PlaggerでRSSを加工する (1) 「habu」とは何か? - 概要 | エンタープライズ | マイコミジャーナル

Web 2.0の根幹をなす技術の1つにRSSがあります。RSSは、Webサイトやブログの更新情報を配信するための技術です。筆者は以前から、RSSから収集したデータをデータベースに登録したり、ブログをメールで更新(moblog)するためのスクリプトなどを作成し、複数動作させていました。これらのスクリプトは基本的にはほとんど同じような処理を行うものです。処理は大きく分けて、外部のサーバーからデータを取得する部分と、取得したデータをフィルタする部分、そして、フィルタした結果をデータベースなどに出力する部分です。フィルタする部分は同じ機能を再実装しているところも多々ありました。自作のスクリプト類をリファクタリングする必要性を感じ始めた時に、Plaggerの存在を知り、UNIX的な思想に感銘しました。Plaggerにインスパイアされ、Pythonベースで「habu(ハブ)」の開発を始めました

infohack 2007/08/29

リンク

http://www.liris.org/tech/program/habu/

infohack 2007/08/29

リンク

Parallel Python

Overview Parallel Python is a python module which provides mechanism for parallel execution of python code on SMP (systems with multiple processors or cores) and clusters (computers connected via network). It is light, easy to install and integrate with other python software. Parallel Python is an open source and cross-platform module written in pure python Features Parallel execution of python co

infohack 2007/08/26

python

リンク

httplib2のキャッシュ機能 - スコトプリゴニエフスク通信

キャッシュ機能があるという理由で今後わりと使うことが増えそうなhttplib2を試してみました。 httplib2 http://code.google.com/p/httplib2/ インストールは例によってeasy_installで。 $ sudo easy_install httplib2 認証関連の処理もしっかりしているようですが、とりあえずはキャッシュ機能だけを試してみます。 >>> from httplib2 import Http >>> conn = Http('/tmp/cache') >>> headers, body = conn.request('http://www.apple.com/', 'GET') Httpオブジェクトのコンストラクタでキャッシュファイルを置くディレクトリを指定します。指定したディレクトリがなければ、httplib2が作成しようとします。上

infohack 2007/08/23

python

リンク

O'Reilly Media - Technology and Business Training

infohack 2007/08/21

python

リンク

Kawasaq通信 - FC2 BLOG パスワード認証

infohack 2007/08/21

python

リンク

validじゃないHTML、XHTMLをなんとかする方法 - Doge log

試してみようみようと思っててなかなか試せなかったけど機会ができた。 lxmlを知らないとモグリです。とりあえず見習いであればXMLParser走らせてチェックでもいいんだけど。（練習になるので）仕事だとめんどいのでvalidにしちゃう。 lxmlでできるはずだなあと思って試しただけ。 # vim: fileencoding=utf8 from lxml import etree import os import sys def format(input): parser = etree.HTMLParser() et = etree.parse(input, parser) base = os.path.basename(input) base = '_' + base dirname = os.path.dirname(input) out = os.path.join(dirnam

infohack 2007/08/17

python

リンク

http://djcraven.blogspot.com/2006/10/send-gmail-message-from-vim.html

infohack 2007/08/16

リンク

http://pythonbeginner.blog78.fc2.com/blog-entry-345.html

infohack 2007/08/16

python

リンク

SQLAlchemyとGenshiとToscaWidgetsでBBSみたいなものを作ってみるテスト — nagosui.org

infohack 2007/08/13

python

リンク

Amazon.co.jp: みんなのPython: 柴田淳: 本

infohack 2007/08/13

リンク

Amazon.co.jp： Python クックブック第2版: Alex Martelli,Anna Martelli Ravenscroft,David Ascher,鴨澤眞夫,當山仁健,吉田聡,吉宗貞紀: 本

infohack 2007/08/13

リンク

https://www.pinkdragon.net/doc_lib/contents/ja/python_man/lib/module-stat.html

infohack 2007/08/12

stat() の返す内容を解釈する

python

リンク

ディレクトリ以下のファイルとサブディレクトリを取得する - Python Tips

os.walk() は、ディレクトリツリー以下のファイル名を、ツリーをトップダウンとボトムアップの両方向に歩行することで生成します。 # ファイルとサブディレクトリのパスを表示する import os, os.path path = 'C:\\Documents and Settings\\' for root, dirs, files in os.walk(path): for file in files: print os.path.join(root, file) 関連 Python ライブラリリファレンス 6.1.4 ファイルとディレクトリ

infohack 2007/08/12

python

リンク

いやなブログ: 配列操作の比較表: Ruby, Python, JavaScript, Perl, C++

配列操作の比較表: Ruby, Python, JavaScript, Perl, C++ プログラムを書いていると、他のプログラミング言語の記憶とごっちゃになって、「配列の後ろに要素を追加するのは push だっけ、 append だっけ」などと混乱することがあります。特に Ruby, Python, JavaScript はコードの書き方が似ているので、この問題が起きがちです。そこで、備忘録として、 Ruby, Python, JavaScript, Perl, C++ の配列操作の比較表を作りました。一番慣れている Ruby を基準にしています。間違いなどがあったらご指摘いただけると助かります。他の言語のもあるといいなあ。 Ruby (Array) Python (list) JavaScript (Array) Perl (@) C++ (std::vector)

infohack 2007/08/12

リンク

Python/Snippet/システム – アクセンスのおまけ

import threading import time def process(): while True: print 'x1' time.sleep(3) th = threading.Thread(None, process, None) th.setDaemon(True) th.start() while True: print 'x0' time.sleep(3)

infohack 2007/08/12