タグ

ブックマーク / www.unixuser.org/~euske (4)

  • 形態素解析ツールの品詞体系

    ChaSen 品詞体系 (IPA品詞体系) ChaSen の品詞体系は任意の階層化を許している。 いわゆる形容動詞は名詞の形容動詞語幹として含まれ、 形容詞には含まれない。Juman の指示詞という カテゴリは「連体詞」に含まれている。 判定詞「だ」は助動詞とされている。 Type1 Type2 Type3 Type4 Examples Description

    denken
    denken 2008/05/14
    IPA品詞体系はリブログするべきなくらいこれから何度も参照することになるだろう
  • Python Toys

    The following files are in public domain except where otherwise noted. THESE FILES COME WITH ABSOLUTELY NO WARRANTY. Articles Recursion and Generators. Crappy tools webapp.py and runapp.py A simplistic Web application framework and its testing server. clitrans.py Generate a simple-formatted text reference for C# standard libraries. sortbydate.py Sort the files by its date and display the older (or

  • Webstemmer(クローラーツール)

    語サイトでは、具体的な性能は測定していませんが、 以下のようなサイトで正しく動くことがわかっています: アサヒ・コム Nikkei NET Mainichi INTERACTIVE Yomiuri On-line IT media 東京新聞 日刊スポーツ 信濃毎日新聞 livedoor ニュース 使いかた Webstemmer をつかったテキスト抽出は以下のようなステップになります: まず、特定のニュースサイトから種となる HTML ページを多数取得する。 取得したページのレイアウトを学習する。 別の日に、同一のニュースサイトから新しい HTML ページを取得する。 2. で学習した結果をつかって、新しい HTML ページから文を抽出する。 1. および 2. のステップが必要なのは最初の 1回だけです。 ひとたびサイトのレイアウトを学習してしまえば、 あとはレイアウトが大きく変更さ

  • 覚悟はできてますか? - トンでもなく高価なIPv6

    back 概要: 増えつづける IPv4 の需要に対処するために提案された IPv6 は IPv4 とは互換性がなく、その代用品にはならない。 しかし人々は依然として IPv4 のサービスを必要とする。 したがってたとえ IPv6 が普及しても、その普及率が 100% になるまでは IPv4 の需要は減少しない。そのためサービスを提供する側はつねに IPv4 をサポートする必要にせまられ、IPv6 のメリットはいつまでたっても見えてこない。 結果としてインターネット全体の IPv6 の導入には予想以上の時間とコストがかかり、 普及までには長い忍耐が必要となる。 おことわり: これは Daniel J. Bernstein さん (以下 djb) による IPv6 mess (日語訳) および ngtransメーリングリスト (IPv6 への移行に関する問題を扱っていた) での彼の発言を読

  • 1