Tokyo O life - ずばぴたテック » WikipediaのダンプデータをDBに投入する
最近、Wikipediaのデータを引用して表示するサービスが良くある。どうやって、実現しているのか？ Wikipediaには、収録データをHTMLではなくXMLで返してくれるモードもあるが、これはWebブラウザ向けのサービスで、PHPなどでアクセスして取得しようとすると、403のエラーで拒否される。また、「サーバーに負担がかかるので、クローリングしないでください」と明記されている。 その代わり、Wikipediaの全データをXML形式でダンプしたものが自由にダウンロードできるようになっている。これを読み込んで、自分のデータベースサーバに投入して使えばいいのだ。データベースはMySQLやPostgreSQLに対応し、投入用のツールも用意されている。 Wikipediaのシステムである、MediaWikiのソースコードも提供されていて、これに含まれているimportDump.phpを使う例が上
Wikipediaデータの利用方法について - FreeStyleWiki
ダウンロード http://download.wikimedia.org/の、Database XML and SQL dumpsのリンクから, XML形式, およびSQL形式での取得が可能。また, ダウンロードページにて「Dump in progress」となっているものは処理中のものなので「Dump complete」となっている箇所を探す。英語版Wikipediaのデータは enwiki, 日本語版Wikipediaのデータは jawikiのリンクが設定されている箇所から, 個別のダウンロードページに移動し取得する。 ダウンロード(裏口) 上記したページからでは, 「dump aborted」や「Dump in progress」へのリンクしかなく, 目的の言語版へのリンクが見付からない場合がまれにある。そのような場合, 以下のURLから直接接続する。 日本語版 英語版 中国語版
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
