Wikipedia コーパス - odz buffer
Wikipedia はそのダンプデータを公開しているので、自然言語処理の研究で利用するひとが結構いたりする。 なので、ためしに英語版 Wikipedia のダンプデータのXMLをパースしながら、適当に書式情報を削除して1項目1ファイルにして HyperEstraier の文書ドラフト形式で出力してみた。 日本語版で、抽出に 13 分、インデキシングに 75 分。英語版で、抽出に 60 分、インデキシングに 3 時間というところ。(CPU: Intel Xeon 2.66GHz) #!/usr/bin/env python # -*- coding: utf-8 -*- import sys import os import codecs import re from itertools import izip, count from xml.etree import ElementTree
wiki2xhtml @ .::sourceforge.net/projects/wiki2xhtml/
New SVN builds To reduce waiting time between releases there will be some SVN builds. They will also be listed on the Download page. News feed is available here. Download: wiki2xhtml-3.3.2 (stable version) wiki2xhtml-3.4b8 (preview; might be unstable) wiki2xtml is a client-side CMS. Pages are written in Wikitext known from the Wikipedia and will then be converted into a webpage by wiki2xhtml. If r
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
超弩級Wikipedia検索
