wikipedia ダンプ取り込み：ザビエル日報：So-net blog
VMのディスク容量を増やしてよっしゃということで、取り込みに挑戦してみます。 ・環境 windowsのVMware 20GB os CentOS 5.4 1.expat-2.0.1 wget http://downloads.sourceforge.net/expat/expat-2.0.1.tar.gz ./configure make make install 2.xml2sql wget http://meta.wikimedia.org/wiki/Xml2sql tar xvfz xml2sql-0.5.tar.gz cd xml2sql-0.5 ./configure --with-expat=/usr/local/lib make cp xml2sql /usr/local/bin/. 3.mysql で格納先ＤＢを作っておく ※既存ＤＢを使うならば不要 4.MediaWiki
wikipediaのダウンロード&データベースにインポート - プログラマでありたい
ダウンロード Wikipedia:データベースダウンロード ウィキペディア日本語版: jawiki-latest-pages-meta-current.xml.bz2 xml2sqlでmysqldump形式に変換 wikipediaのコンテンツは、600MB以上ある。それなりに時間が掛かるので、落としている間にデータベースへのインポートの準備。データの提供形態はxmlなので、データベースに入れるにはそれなりの工夫が必要である。幸いwikipedia自体が２種類の方法を提供してくれている。MediaWikiに付属しているimportDump.phpを使うか、xml2sqlというツールをインストールするかが選べる。 他でも使えそうなので、xml2sqlを使うことにした。 xml2sql $wget ftp://ftp.tietew.jp/pub/wikipedia/xml2sql-0.5.ta
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
