Tokyo O life - ずばぴたテック » WikipediaのダンプデータをDBに投入する
最近、Wikipediaのデータを引用して表示するサービスが良くある。どうやって、実現しているのか？ Wikipediaには、収録データをHTMLではなくXMLで返してくれるモードもあるが、これはWebブラウザ向けのサービスで、PHPなどでアクセスして取得しようとすると、403のエラーで拒否される。また、「サーバーに負担がかかるので、クローリングしないでください」と明記されている。 その代わり、Wikipediaの全データをXML形式でダンプしたものが自由にダウンロードできるようになっている。これを読み込んで、自分のデータベースサーバに投入して使えばいいのだ。データベースはMySQLやPostgreSQLに対応し、投入用のツールも用意されている。 Wikipediaのシステムである、MediaWikiのソースコードも提供されていて、これに含まれているimportDump.phpを使う例が上
Flask で始める Google AppEngine アプリ開発 | Webシステム開発／教育ソリューションのタイムインターメディア
@t2y から Python Web フレームワークアドベントカレンダー の担当がパスされてきました。 僕は Python を使い始めて 1年ぐらいになるのですが、主にコマンドラインのアプリを作っていて Web アプリには手をつけていなかったので、アドベントカレンダーに合わせて触ってみることにしました。 Web アプリの題材には、以前 Rails + Google Maps API で作った地図投稿アプリを使うことにしました。 以前 Rails 1.1 の練習題材として作ったのですが、バージョンアップの影響で いつの間にか動かなくなってしまった残念なアプリです。 フレームワークには python のマイクロフレームワークの一つである Flask を、 実行環境には Google App Engine (以下、appengine)を使うことにしました。 環境の作り方 appengine の環
» MySQLにWikipediaのデータをインポートする。 LaLaLaサーチ 管理人ブログ
Wikipedia日本語版のデータで作成中の検索サイトのテストをしようかと、WikipediaのデータをMySQLにインポートしてみる。 １．xml2sqlをゲット( http://meta.wikimedia.org/wiki/Xml2sql ) Wikipediaの記事本文はXML形式で提供されているので、XMLからSQL形式にデータをコンバートするためのツール「xml2sql」を事前にインストールしておく。 wget ftp://ftp.tietew.jp/pub/wikipedia/xml2sql-0.5.tar.gz tar xvfz xml2sql-0.5.tar.gz cd xml2sql-0.5 ./configure make make install なお、上記のwgetでxml2sql-0.5.tar.gzが上手くダウンロード出来ない時は、http://gi
Datastore APIでストアしたエンティティを直接JSON形式に変換する | Ajalog.7z
2010/04/01 Datastore APIでストアしたエンティティを直接JSON形式に変換する Datastore APIでストアしたデータをJSONに変換するとき、simplejsonを使って simplejson.dump(GqlQueryで得たデータ） としたいところですが、実際には失敗してしまいます。 自分でエンコード処理を書くのもめんどくさいのでGoogle ソースコード検索で調べたところ、次のような便利なモジュールを見つけました。 http://www.google.co.jp/codesearch/p?hl=ja#D4aeBfYfll4/trunk/geochat/json.py&q=json%20db.Model&sa=N&cd=2&ct=rc simplejsonを拡張して、GqlQueryで得るデータの形式に対応させます。 このモジュールをインポート後、
DaemonContextでpythonスクリプトをデーモン化する – taichino.com
pythonでデーモンを書きたいと思って、調べてみると「Pythonでprefork型のデーモンを書く」という記事を見つけました。この内容が素晴しくて、プロセスもデーモンも初心者な僕でも処理の大枠を理解できました。 それで、デーモン化する為のモジュールってあるんじゃないのと思いpypiを見てみると、複数のモジュールが登録されていました。その中で一番リッチな機能を持つDaemonContextを使ってみる事にしました。 インストールはeasy_installで一発です。 $ easy_install python-daemon 使い方も簡単でDaemonContextオブジェクトを作成して、そのwith構文中がDaemon化されます。 #!/usr/bin/python # -*- coding: utf-8 -*- from __future__ import with_statement
Firefox3で動くGreasemonkeyを作る&新機能の@import @require - bits and bytes
少し前にFirefox3 beta1がリリースされたものの、いろいろ拡張機能が動かないから使えないもんねーと思ってスルーしていたけれど、ちょっと移行してみようかと試してみたら、まずGreasemonkeyがFirefox3に対応していませんでした... が、検索してみるとGreasemonkeyのchange log /trunk/src (log) - greasemonkey - DevjaVuにAdding FF3b supportと書かれているのを発見。最新版なら動くっぽいのでチェックアウトしてきて試してみたら、新しく@importと@requireという新機能もついていたのでちょっと調べてみました。 Firefox3対応のGreasemonkeyのビルドとインストール ビルドと言ってもFirefoxのaddonはプラットホームに依存しないものはzipファイルを作るだけなので、たい
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ASファイルをソースパスルートに配置 - OZACC.blog