Tokyo O life - ずばぴたテック » WikipediaのダンプデータをDBに投入する
最近、Wikipediaのデータを引用して表示するサービスが良くある。どうやって、実現しているのか？ Wikipediaには、収録データをHTMLではなくXMLで返してくれるモードもあるが、これはWebブラウザ向けのサービスで、PHPなどでアクセスして取得しようとすると、403のエラーで拒否される。また、「サーバーに負担がかかるので、クローリングしないでください」と明記されている。 その代わり、Wikipediaの全データをXML形式でダンプしたものが自由にダウンロードできるようになっている。これを読み込んで、自分のデータベースサーバに投入して使えばいいのだ。データベースはMySQLやPostgreSQLに対応し、投入用のツールも用意されている。 Wikipediaのシステムである、MediaWikiのソースコードも提供されていて、これに含まれているimportDump.phpを使う例が上
» MySQLにWikipediaのデータをインポートする。 LaLaLaサーチ 管理人ブログ
Wikipedia日本語版のデータで作成中の検索サイトのテストをしようかと、WikipediaのデータをMySQLにインポートしてみる。 １．xml2sqlをゲット( http://meta.wikimedia.org/wiki/Xml2sql ) Wikipediaの記事本文はXML形式で提供されているので、XMLからSQL形式にデータをコンバートするためのツール「xml2sql」を事前にインストールしておく。 wget ftp://ftp.tietew.jp/pub/wikipedia/xml2sql-0.5.tar.gz tar xvfz xml2sql-0.5.tar.gz cd xml2sql-0.5 ./configure make make install なお、上記のwgetでxml2sql-0.5.tar.gzが上手くダウンロード出来ない時は、http://gi
ちょっとしたメモ - FavikiとタグとDBpedia
先日登場した新しいブックマークサービス Faviki は、ユーザがタグを与えるときに、英語版Wikipediaに登録された語句を候補として提供することで、語彙のゆれ（同義語の問題）を解消しようという特徴を持つ。さらに、タグとWikipediaの連動により、多義語の問題（Operaは歌劇かブラウザか）をも解決する可能性を示す。UIも工夫されており、タグを巡る困難へのひとつの答えともいえる。 タグの共有 以前「タグとオントロジー」で検討したように、タグを広く共有するためには、同義語、多義語の問題を処理する必要がある。アプローチとしては、 従来のタグシステムを前提として、ユーザが自由に与えたタグから、統計的な手法を利用して共通項を見出していく方法と、 ユーザがタグを与える時点で、そのタグを共有可能なもの（統制されたもの）にする方法 が考えられた。Favikiの場合は、後者の立場で、与えられるタグ
Wikipedia日本語版をポケットに入れて持ち歩く - World Wide Walker
Wikipedia日本語版をポケットに入れて持ち歩く Posted by yoosee on Palm at 2008-03-03 22:00 JST1 Wikipedia日本語版をEPWING形式にして携帯する最近流行りのようなのでWikipedia日本語版をEPWING形式に変換するのに挑戦。方法はほぼ いや。何となく。 「wikipedia-fpw」でWikipediaをEPWING形式に変換 のまま。作業は Debian 上で行っている。freepwing-1.4.4.tar.gzfreepwing-1.4.4+20070216.patch.gzwikipedia-fpw-20071202-src.tar.gzjawiki-latest-pages-articles.xml.bz2freepwing-1.4.4+20070216.patch.gz以上を取得し、patch を当てて
Wikipedia コーパス - odz buffer
Wikipedia はそのダンプデータを公開しているので、自然言語処理の研究で利用するひとが結構いたりする。 なので、ためしに英語版 Wikipedia のダンプデータのXMLをパースしながら、適当に書式情報を削除して1項目1ファイルにして HyperEstraier の文書ドラフト形式で出力してみた。 日本語版で、抽出に 13 分、インデキシングに 75 分。英語版で、抽出に 60 分、インデキシングに 3 時間というところ。(CPU: Intel Xeon 2.66GHz) #!/usr/bin/env python # -*- coding: utf-8 -*- import sys import os import codecs import re from itertools import izip, count from xml.etree import ElementTree
Wikipedia API にチャレンジ
Wikipedia API にチャレンジ Wikipedia の API が無いものかと調べてみた。 「クローラのアクセスは止めて」と書いてあるものの普通に公開されていた。 Wikipedia:Database download http://en.wikipedia.org/wiki/Wikipedia:Download#XML_schema XML access http://en.wikipedia.org/wiki/Special:Export/Title_of_the_article RSS access http://www.blinkbits.com/en_wikifeeds_rss/Title_of_the_article XML フォーマットで記事を取得 AIBO に関する記事を XML フォーマットで取得してみた。 http://en.wikipedia.org/wik
Wikimedia Commons
Browsing? Please use the search box at the top of this page or the links to the rightthe links further down. Feel free to subscribe to our syndicated feeds. Using? To fulfill the free license requirements, please read our Reuse guide. You can also request a file. Identifying? Have a browse through Category:Unidentified subjects. If you find something you can identify, adjust the file's categories
WP2TXT: Wikipedia to Text Converter
WP2TXT: Wikipedia to Text Converter 本ソフトウェアは無保証です。ライセンスを確認の上、自己責任で使用してください。 本ドキュメントは書きかけです。以下の仕様は今後変更する可能性があります。 1. はじめに WP2TXT は BZ2 圧縮された Wikipedia データダンプ XML ファイルからテキストデータを抽出し、コーパス言語学の研究などに 適した形式に整形します。通常のテキストフィルタと異なり、言語研究に主眼を置いて いるため「センテンス」の形式を備えた文字列のみを取り出します。 現在はWikipedia 日本語版にのみ対応しています。 WP2TXT は Ruby 言語によって作成されており、 wxRuby ライブラリによる Windows 用 GUI インタフェイスを備えています。また Linux などではコマンドラインプログラム とし
最速インターフェース研究会 :: 最近IE6でWikipedia日本語版の表示が異常に遅いのはKeepAliveのせい
KeepAliveのせいというと誤解があるか。IEのせいなんだけど。 どうもここらへんの問題っぽい。 http://d.hatena.ne.jp/kinneko/20051214/p4 http://otaba.seesaa.net/article/10637205.html 2月初めぐらいからか、キャッシュが空の状態で日本語版のWikipediaを表示すると、IE6が1分間ほど固まる、という不具合があるそうだ。 JavaScriptを切ると正常に表示できるようになるけど、JavaScriptが重い、ということはなかった。JavaScriptが重いならCPUの使用率が高くなるはずだし、なんかおかしいフリーズの仕方をする。で、Proxomitronでレスポンスとか調べてみてたりしたのだけれど、プロキシ経由だと問題なく表示される。 結論としては、なんらかの原因でkeepaliveがタイムアウト
ウィッキー
メール型検索サービス ウィッキー2月27日発売の「TOKYO★1週間（講談社）」に「ウィッキー」の紹介記事（P.89）が掲載されました 2月27日発売の「KANSAI1週間（講談社）」に「ウィッキー」の紹介記事（P.91）が掲載されました
PRoxy Diary(2006-09-16) - Bayesian Sets
_ [コンピュータ] Bayesian Sets何はともあれ一番目立つところにリンクをば。 ここのところちょっと時間が取れたので、以前から気になっていたBayesian Setsを実装してみました。Bayesian Setsは、ある単語を入力すると、それと関係が深い単語を推測して返してくれるというものです。Google Setsというサービスを聞いたことがある方もおられるかもしれませんが、やりたいことはあれと同じです。理論的な話に興味がある場合はここを参照するか、元論文に当たってください。 論文で「高速」と紹介されているだけあって、Wikipediaから17万文書を使って学習させたにも関わらず結構な速度で動いてくれています。辞書に登録されている単語数も44万と豊富。これだけのものを現実的な時間で捌いているというだけでも、かなり驚きです。無理やりアドホックに処理を端折って計算量を減らしている
Google の検索結果に Wikipedia の定義を追加する Greasemonkey
Google の検索結果に Wikipedia の定義を追加する Greasemonkey 2006-07-01 02:21:37 | Permalink | | Tag: cc-by google greasemonkey js wikipedia Google の検索語に対する Wikipedia の定義を時々みたいと思う。そんなときは Google with Wikipedia v1.03.user.js（Last Updated: 2006-11-21T11:25）。って私だけか。 最初、iframe 要素内に Wikipedia の記事を表示させようと思ったが、Wikipedia に含まれる Javascript の所為でフレームを外されて Wikipedia に飛んでしまうので iframe などを用いて直接 Wikipedia を表示させる方法は使用不能。 少しググってみたと
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
OpenStreetMap
http://en.wikipedia.org/w/query.php
Dance Party
ウィキペディアとブログを融合した検索サイトをオープン (三田ブログ)
WikipediaAPI - ウィキペディア情報をサイトで利用できるAPI