beautifulsoup – taichino.com
しばらくベンチマークコードを書いてなくてすっかり忘れていたので、メモ書きです。今回は例題として、yahooのこのページをBeautifulSoupとlxmlでのスクレイピング比較をしてみる事にしました。比較対象の関数は以下の通りです。どちらのコードも入力・出力ともに同じなので、どちらが実行時間やメモリ使用量が少ないのかを知りたくなりますね。 # BeautifulSoup def scrape_with_bs(html): from BeautifulSoup import BeautifulSoup soup = BeautifulSoup(html) rows = soup.find('table', attrs={'class':'channel9'}).findAll('tr') channels = rows[0].findAll('td', attrs={'class':'st
gae上でDataStore使わずにmemcacheで転置インデックス作ってみた。 - When it’s ready.
あまりテストをしてないけど、少なくとも100倍くらい速いし、まず時間かけ過ぎで落とされない。これはとても大きい。 以下、コード def uniqueInverseIndex(feed_id, text): try: ngram = NgramTokenizer(feed_id, text) ngram.setNgramArr(2) except: response.out.write('NgramTokenizer make instance is faild') try: for i in ngram.getNgramArr(): InvIndex = InverseIndex.get_or_insert( "_" +i['word_text'], word_text=i['word_text']) InvIndex.feed_id.append(db.Text('%s:%s'%(i['
Bulkloader demo
The new bulkloader configuration format requires the Google App Engine Python SDK version 1.3.4 or later.Files on this siteSample configuration and databulkloader.yamlmodels.pycustomer.csvcustomercall.xmlvisit.tsv Hierarchical XML example Visit + Activitiesbulkloader_visitactivity.yamlvisitactivities.xmltransformhelper.py Custom connector examplejson_connector.pybulkloader_json.yaml Mapreduce base
Javaプログラマの為のGAE/Py bulkloader - bulkloader設定 - - 高卒文系プログラマの日常 by zetta1985
GoogleAppEngine, Python EclipseでGAE/Jをメインアプリとして開発しながら、GAE/Pyのremote APIでbulkloader使っちゃおうぜ、という計画2回目。 以下が前提条件、という事でした。 1. メインのGAE/Jアプリ実装中に（＝Eclipseから）アップロード可能にする事 2. GAEにアップロード、メインのGAE/Jアプリのデータインポート/エクスポート機能として提供可能である事 うん、あれだ。GAEのremote API勉強して分かったんだけど、2の方はbulkloader関係ないｗ よく考えれば、「remote APIでGAEにリモートでアクセスできるよ！」って事なので、実際にGAE上ならbulkloader関係無しにデータ読み書きすればいいじゃない、って話。*1 まぁいきなり頓挫気味な訳ですが、とりあえずbulkloader使えるよう
Sign in - Google Accounts
Not your computer? Use a private browsing window to sign in. Learn more about using Guest mode
GoogleAppEngine上のDjangoでカスタムフィルタを作成する - ナマアシタノム
Google App Engine(for Python)上のテンプレートシステムDjangoでカスタムフィルタを作成する為の手順をメモ。 Djangoで「はてなブックマーク数の画像を表示するためのimgタグをURLから生成」みたいなことをしようとするとテンプレート側で処理した方がすっきりしていいですね。テンプレートに渡す変数も少なくて済みます。 テンプレート側(こんな感じで使えるようになります) {{ url|imgtag_hatebu }} たとえばurlが「http://d.hatena.ne.jp/ashitano244」とすると、 自作したimgtag_hatebuフィルタを通すことで <img src="http://b.hatena.ne.jp/entry/image/large/http://d.hatena.ne.jp/ashitano244"/> と置換されて出力されま
Google App Engine 日本語データのアップロード - Tommy Heartbeat 2nd
「utf-8 の csv をアップロードできると書いてあるんだけど…。」 Google App Engine には、クラウドのこちら側で作成した csv データをアップロードする機能がある。 http://code.google.com/intl/ja/appengine/docs/python/tools/uploadingdata.html ドキュメントによると、utf-8 で OK となっているので、日本語のデータも問題ないはずなのだが、実は単純には行かない。ドキュメントの通りにローダークラスを作るのはいいんだけれども、その中にある項目定義部分を書き換える必要があった。 ('title', str), ('artist', str) となっているのだが、このままだとエラーが出てしまう。 ('title', lambda x: x.decode('utf-8')), ('artist'
理屈がわからないのに進んじゃだめっ - comazの日記-love&peace,それはそうとして遊んでいたい
ってきれいなお姉さんも言ってたじゃん･･･orz 「プログラミング？ベーマガのリストなら打ち込んだ記憶があるよ」そんなITとは無縁な職場のアプリユーザーたるおいらが無謀にも「GAEでTwitterのbotを作ろうの会」に行ってまいりました。 勉強会なんて初体験。始まる前は期待と不安と恍惚が(以下略)で眩暈すら覚えてましたが、いざ始まるともう夢中時間突入。あっという間に終わってしまって・・・面白かったです。会場の確保、課題の準備、当日の講演と指導・・・主催の皆様方には頭が下がります。感謝。 以下はとりあえず課題到達までの備忘録です。ニワトリは３歩歩くと忘れるのよね。そして地獄の釜がゆっくりと開き･･･(嘘 --------動作環境： WinowsXP/SP3,Python2.54,GAE1.2.0 simplejsonフォルダとtwython.pyはhellowprldフォルダにコピー済
debiancdn
「AWSが大好きで、大好きすぎるのに日本にないものだからクラウドをつくる」 というようなことを2009年に Lightning Talks (2009-07-18) – 日本Ruby会議2009 に参加したときに懇親会で話をしたことを思い出しました。 そんなわけで、 超絶久しぶりにブログに記事を書くことに。なんと10年ぶりだなんて驚きです！ こんにちは、あらき(X: @ar1)です。 経歴は、LinkedInにほぼ載っていますのでご興味ある方はコチラをどうぞ。 知っている人は知っていたかもしれませんが、AWSで13年と8ヶ月働いたことをお伝えします。 AWSのSAとして、まだまだやれることがあると思う中での決断となりました。そして、さくらインターネットに来てから半年が経ちました。その区切りとしてこの記事を書きます。 冒頭に書いたように、自分は過去に2回ほどクラウド作りを試みたことがあります
GAE/Pyでbulkloaderを使ってデータをアップロードする - すぎゃーんメモ
bulkloaderとは remote_apiを使ってコンソールからDatastoreにデータをアップロードするためのツール。 初期データとして大量のデータをDatastoreに突っ込んでおきたいときなどに便利。 逆にDatastoreにある内容をダウンロードすることもできる。削除をするようには作られていない？ 今のところPython版のみ。Java版もそのうち出る？ http://code.google.com/intl/ja/appengine/docs/python/tools/uploadingdata.html 簡単な使用例 例えばアプリケーション内で、model.pyというファイルでこんなクラスを作るとする。 from google.appengine.ext import db class PersonalData(db.Model): name = db.StringPro
たけまる / Google App Engine のデータストアは Bigtable をどのように使っているのか
_ Google App Engine のデータストアは Bigtable をどのように使っているのか [gae][bigtable] Google App Engine (GAE) が発表されてから2週間ほど経ちます．GFS や Bigtable という名前だけはよく耳にするようになりましたが，Bigtable と GAE のギャップについては話題になっていないように思います． Bigtable は multi dimensional sorted table と言われるように， primary key (row key) でソートされたテーブルでしかありません．つま り，GAE のデータストアが提供するような多様な検索機能は持たないわけ です．というわけで，GAE のデータストアを実現するために，Bigtable がどのように使われているのかを考えてみました． # この件について，もし
Google App Engine データストア上のデータをまとめて消す方法 - Object Design
Google App Engineでデータストアに入れたデータを削除したい場合、 どうすればいいのか。 件数が少なければ 管理コンソール(Datastore - Data Viewer)上で削除することができる。 しかし件数が多いととてもこれでは対応できない。 Google App EngineのDatastoreの中身を全部消す とか、 GoogleAppEngineでremote_apiを使う では、件数が多い場合の対応方法が紹介されていたが、ちょっと面倒そうに思ったので、 以下の方法で対処することに。 普通にアプリケーション中にデータストア削除インタフェースを用意 アイデア自体は普通です。 データストア中に MyDataというデータモデルがあれば、そこにある実体データは、以下のコードに削除できます。 for data in MyData.all(): data.delete()
Google App Engine で Web アプリケーション ～ その2
Google App Engine は、Django というフレームワークがデフォルトで利用できます。この Django には強力なテンプレートエンジンが含まれています。 前回までのような方法で画面を出力するのは少々骨が折れますが、Django のテンプレートエンジンを使うと HTML ベースの画面を作りやすくなります。 Javaで言うところの、Velocity や FreeMarker のようなモノですね。 というわけで、今回はこれを利用してみました。 テンプレートとなるファイルを作成する 拡張子は .html で OK です。 <!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN"> <html> <head> <meta http-equiv="Content-Type" content="text/html; c
Big Sky :: Google App Engineでweb.pyやCherryPyを動かす方法
Google App Engine上でweb.pyとかCherryPyとか動かないという報告がいくらかあったのでまとめてみます。 Google App Engineでは、以下で述べられているように「WSGIに対応したCGI(と呼ばれるもの)であれば、フレームワークとして扱えるよ」と言っています。 Using the webapp Framework - Google App Engine - Google Code The CGI standard is simple, but it would be cumbersome to write all of the code that uses it by hand. Web application frameworks handle these details for you, so you can focus your developme
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
App Engine BadValueError On Bulk Data Upload - TextProperty being construed as StringProperty
CONIT Labs.: コニットブログ::Akutsu
PythonによるGoogle App Engine(GAE)プログラミング入門 - libro
http://7.latest.cybersample1.appspot.com/
威斯尼斯人wns888app网站|官方欢迎您
Bitbucket