ElementTree で巨大な XML を処理する - odz buffer
ElementTree のページに書いてあることだけど、メモとして。 xml.etree.ElementTree.iterparse を使うと、DOM のようにメモリを食わず、SAX よりプログラムしやすいかと思いきや、試しに Wikipedia のダンプデータを食わしてみたら、がんがんメモりを食う。まぁ、ルートエレメントの end イベントのときに、配下のノードがすべて必要になるので当然なんだけど。で、対策は毎回ルートエレメントの配下をクリアするということらしい。 ということで、Wikipedia のデータを処理するときはこんな感じ。 import xml.etree import ElementTree WIKIPEDIA_NAMESPACE = 'http://www.mediawiki.org/xml/export-0.3/' class Page(object): __slots
テキストからWikipedia見出し語を抽出 - 人工知能に関する断創録
WindowsでMeCab Pythonを使う（2010/11/21）のつづきです。形態素解析を使ってると単語が変なところで切れていたり、未知語が多かったりと不満点が出てきます。また、応用によっては、形態素ではなく、複合語単位で抽出したいということもしばしばあります。たとえば、 人工知能は、コンピュータに人間と同様の知能を実現させようという試み、あるいはそのための一連の基礎技術をさす。 人工知能という名前は1956年にダートマス会議でジョン・マッカーシーにより命名された。 現在では、機械学習、自然言語処理、パターン認識などの研究分野がある。（Wikipedia『人工知能』を改変）という文章をMeCabで形態素解析して名詞のみ取り出すと、 人工 知能 コンピュータ 人間 同様 知能 実現 試み ため 一連 基礎 技術 人工 知能 名前 1956 年 ダート マス 会議 ジョン マッカーシー
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
