はてなブックマーク

ExtractContent は、HTMLから本文を抽出するRubyモジュールです。 RubyForge: ExtractContent: Project Info Webページの本文抽出 (nakatani @ cybozu labs) Perl用の同名モジュールもありますが、今回はRubyモジュールを基にしてPythonへ移植してみました。 # -*- coding:utf-8 -*- import re import unicodedata class ExtractContent(object): # convert character to entity references CHARREF = { "nbsp" :" ", "lt" :"<", "gt" :">", "amp" :"&", "laquo":u"\xc2\xab", "raquo":u"\xc2\xbb", }

2008/8/13 水曜日 – 22:22:09 Ruby on Rails にて acts_as_authenticatedとrole_requirement に関してはいろいろ資料が出てきていたのですが、これの設定等が具体的になかったのでここにメモを残しておこうと思う。 controller ごとに権限を設定してアクセス制御を行うんですが、その設定で引っかかったのでその解決法というか考え方。 上の資料の通りに userモデル と roleモデル等を作成。 app/models/user.rb に def has_role?(role_in_question) @_list ||= self.roles.collect(&:name) return true if @_list.include?('admin') (@_list.include?(role_in_quest

今週やってくることの一つとして、学習データを作成して実際にSVMで学習させてみる、というのがある。 そのためのソフトウェアとしてMeCabを利用する。 また、TermExtract という単語（名詞）に対する重み付けを行うためのPerlモジュールを利用する。 MeCabは形態素解析を行うソフトウェア。 TermExtractはMeCabやChaSenなどの処理結果から語句の重要度（TF・IDFなど）を計算する。 まずはMeCabのインストール ソースの入手先：http://mecab.sourceforge.net/src % ./configure --with-charset=utf8 % make % su # make install MeCab用の辞書も同様の手順でインストール 今回はIPA辞書を使うことにする ソースの入手先：http://mecab.sourceforge.