GAE/Python でフルテキストサーチ実装した。 redisを使ったインチキバージョン - When it’s ready.
GAEにどんどん機能が追加されていく中、なかなか実装されないのが全文検索。品詞がとれるセグメンターだけでも提供してくれたら全然便利だと思うんだけどそんなアナウンスはまだ有りません。 なきゃ作ればいいじゃんという事で、全文検索もどきを実装してみました。ひとつ前のエントリー通りTriGramです。 以前、恵比寿のイケメン イアンさんと一緒に作ったmisopotetoというモジュールをベースにしています。 今回のポイントは、転置インデックスをredisサーバに送っているところ、GAE（とうかDB全般）は、インサートがめちゃくちゃ遅いので、Ngramでgram毎にエントリーIDをappendしていくというのは辛いです。Twitterの検索結果15個ｘ100文字位をTriGramでインデックスを作ろうとすると、1500個くらいをgetしてappendして、putする必要があります。以前は、TaskQ
ドラッグアンドドロップで画像をアップロードするGAEサービス·DropMocks MOONGIFT
DropMocksはPython製Google App Engine用のオープンソース・ソフトウェア。Gmailの新機能として注目されている添付ファイルのドラッグアンドドロップでのアップロード機能。一度慣れると手放せなくなるほど便利な機能だ。 トップ画面 これを他のシステムにも組み込むことはできないだろうか。ライブラリ化されていれば特に使えることだろう。Google App Engine上で実践しているサービスがDropMocksであり、そのソースコードは公開されている。 DropMocksにアクセスしたら指定されたボックスに画像をドラッグアンドドロップする。もちろん複数ファイルまとめてドロップできる。後はしばらく待っていればアップロードが完了する。アップロード完了後は横並べにしてスライドショーを楽しめる。 アップロード後の閲覧画面 ログインすれば自分のアップロードした画像をまとめて管理で
やる夫と Python で学ぶ Twitter の OAuth - 宇宙行きたい
OAuth 調べてみたら難しくて理解出来なかったので， Python で標準ライブラリだけで 1 から書いてみました． ／ ＼ ／ _ノ ヽ､_ ＼ ／ oﾟ(（●）) (（●）)ﾟo ＼ twitter の OAuth 難しいお… | （__人__）' | ＼ ｀⌒´ ／ ＿＿＿_ ／⌒ ⌒＼ ／（ ●） （●）＼ ／::::::⌒（__人__）⌒::::: ＼ だからやる夫でやるお！ | |r┬-| | ＼ `ー'´ ／ Python のサンプルコードを付けていますが， 上から順に読めるようにおもいっきり手続き型で書いています． コメントで実際の処理の説明を書いています． Consumer Key と Consumer Secret の入手 ／￣￣＼ ／ u ＼ .＿＿＿_ |:
さくっと社内用 Gyazo を作ってみた - 宇宙行きたい
こんにちは!! 最近，SQL ばかり書いているヨシオリです!! ちょっと気晴らしにコードを書きたかったのですが， 丁度，id:kusigahama が「社内 Gyazo が欲しいよぉ」 って言ってたのを思い出した気がしてのでサクっと作ってみました． 超シンプル!! サーバ側は web.py で動いています． #!/usr/bin/env python # -*- coding: utf-8 -*- import web,dbm,hashlib urls = ( '/(.*)','Gyazo' ) app = web.application(urls, globals()) db = dbm.open('gyazo','c') class Gyazo: def GET(self,param): param = param.split('.')[0] image = db.get(param)
いやなブログ: 配列操作の比較表: Ruby, Python, JavaScript, Perl, C++
配列操作の比較表: Ruby, Python, JavaScript, Perl, C++ プログラムを書いていると、他のプログラミング言語の記憶とごっちゃになって、「配列の後ろに要素を追加するのは push だっけ、 append だっけ」などと混乱することがあります。特に Ruby, Python, JavaScript はコードの書き方が似ているので、この問題が起きがちです。 そこで、備忘録として、 Ruby, Python, JavaScript, Perl, C++ の配列操作の比較表を作りました。一番慣れている Ruby を基準にしています。間違いなどがあったらご指摘いただけると助かります。他の言語のもあるといいなあ。 Ruby (Array) Python (list) JavaScript (Array) Perl (@) C++ (std::vector)
いろいろな言語のコーディング規約，スタイルガイドのリスト — TRIVIAL TECHNOLOGIES 2.0
みんなのIoT/みんなのPythonの著者。二子玉近く160平米の庭付き一戸建てに嫁/息子/娘/わんこと暮らしてます。月間1000万PV/150万UUのWebサービス運営中。 免責事項 プライバシーポリシー プログラミング言語(C#，VB，PHP，C/C++，Python，Java，Ruby，JavaScript，Objective-C)やHTMLのコーディングスタンダードを集めたリストを発見しました。日本語訳があるものはできるかぎり探し出して，括弧のなかに併記して補ってあります。微妙に古いのが混じってるかな。Rubyは日本発のコーディング規約がある気がする(まつもとさんの日記を見つけた)。 元記事にPerlのスタイルガイドがなかったんだけど，モダンなPerlスタイルガイドがあったら教えて欲しいです:-)。 PythonにはPEP8というコーディングスタイルガイドがあってよく読まれることは
Google App Engine上でPyPress·PyPress For GAE MOONGIFT
PyPress For GAEはGAE用/Python製のオープンソース・ソフトウェア。世界中のブログエンジンシェアを大きく握っているのがPHPのWordPressだ。オープンソースということもあり、その勢いは止まらない。バージョンアップを重ねるごとにどんどん便利になっている。 WordPress for Python! そんなWordPressを模して開発されているのがPython製のWordPressとでも言うべきPyPressだ。とは言えPythonが動くサーバならばPHPも動くだろうし、わざわざ乗り換える需要がないかも知れない。だがGoogle App Engineとなると話は別だ。PyPress For GAEがその答えになる。 PyPress For GAEはPyPressをGoogle App Engine上で動作するようにカスタマイズされたソフトウェアだ。機能的にはWord
Google App EngineをCDNに·CirruxCache MOONGIFT
CirruxCacheはPython製/Google App Engine用のオープンソース・ソフトウェア。Googleは世界中にサーバを持ち、アクセス元にとって最も高速に応答できるサーバを選択してデータを返している。それはGoogle App Engineであっても変わらない。 管理画面はない 高速にデータを返すということは、ごくごくシンプルなCDN（コンテンツ・デリバリー・ネットワーク）と言うことができるかも知れない。その可能性を考え開発されているのがCirruxCacheだ。 CirruxCacheはGoogle App Engine上に立て、静的なコンテンツ（画像など）をキャッシュさせることで次回からのアクセスを高速化するものだ。TTLの設定も行われる。滅多なことでは更新されないコンテンツ（画像など）に対して用いるのが良いだろう。 設定はコードで行う。 キャッシュ可能なIPアドレス
Google App Engineを使ったシンプルなタスク管理·Flasktodo MOONGIFT
FlasktodoはPython/Google App Engine製のフリーウェア（ソースコードは公開されている）。タスク管理は常に人気の高いジャンルだ。ローカルアプリケーションはもとより、Webベース、携帯電話用など様々に存在する。未だに出続けるということは、決定打と呼ぶには何か足りないのかもしれない。 とてもシンプル！ GTDもタスク管理の一つだが、あまりに高機能で最初に覚えることが多い。これではタスク管理が目的なのか、GTDを覚えることが目的なのか分からなくなってしまう。もっとシンプルにシンプルに…それを突き詰めた形がFlasktodoだ。 FlasktodoはGoogle App Engne用のオープンソース・ソフトウェアで、とてもシンプルなTodo管理となっている。短銃にすべきことを登録し、×を押せば完了、Deleteを押せば削除される。完了したタスクは打ち消し線が引かれる仕組
Yahoo! BOSS + クラスタリング + GAEの検索システム·Clustsrch MOONGIFT
ClustsrchはPython製のフリーウェア（ソースコードは公開されている）。Yahoo! BOSSとはBuild your Own Search Serviceの略で、カスタマイズ性の高い検索システムを構築できるWeb APIだ。自サイトのサイト内検索として使ったり、そこから得られるデータを使って様々なマッシュアップを構築したりするのに使われる。 Yahoo! BOSSを使った検索システム そんなYahoo! BOSSを検索システムとして使ったのがClustsrchだ。ただそのまま使うのではなく、階層型クラスタリングと呼ばれる手法を盛り込んでいる。結果から得られる単語を取り出して、グループ化していく手法だ。 Clustsrchで検索を行うと検索結果とは別にグルーピングされた情報が表示される。それをクリックすると検索結果が絞り込まれる仕組みだ。Googleのサジェストに似ているが、さら
サービスの稼働状態をモニタリング、表示する·Stashboard MOONGIFT
StashboardはGoogle App Engine/Python製のオープンソース・ソフトウェア。Webサービスが拡大していくと、自社の提供するサービスが正常に動作しているかチェックしたり、それを利用者に提示する必要に迫られる。特にWebアプリケーションはそうだ。 twilloで使われている例 GoogleはApps Status Page、AmazonはAWS Status Pageといったサイトを用意して各サービスのステータスをモニタリングできるようにしている。そんなステータスページを自社でも用いたいと考える人はStashboardを使ってみよう。 StashboardはGoogle App Engine上にダッシュボードを用意する。GAE上にサービスを構築していたら意味がないが、それ以外のサーバであればモニタリングシステムが切り離せるので便利だろう。各サービスに対してGET/P
Pythonでのキーワード抽出実装
初出: 2007/6/27 更新: 2007/7/1 文章からキーワードを抽出するスクリプトをPythonモジュールとして実装しました。 分かち書きした上に、適切に複合語をつくり、さらに重要そうなものかどうかのスコアをつけます。 アルゴリズムは、以下のサイトを参考にしました。 http://gensen.dl.itc.u-tokyo.ac.jp/ ここで紹介されている論文 * 中川裕志、森辰則、湯本紘彰: "出現頻度と連接頻度に基づく専門用語抽出",自然言語処理、Vol.10 No.1, pp. 27 - 45, 2003年1月 http://www.r.dl.itc.u-tokyo.ac.jp/~nakagawa/academic-res/jnlp10-1.pdf に掲載されているFLR法のみを実装しています。 実行結果サンプル たとえば、こんなページの本文をテキストフ
Não Aqui! » 10行強で書けるロジスティック回帰モデル学習
ロジスティック回帰（logistic regression）の学習が，確率的勾配降下法（SGD: stochastic gradient descent）を使って，非常に簡単に書けることを示すPythonコード．コメントや空行を除けば十数行です． リストの内包表記，条件演算子（Cで言う三項演算子），自動的に初期化してくれる辞書型（collections.defaultdict）は，Python以外ではあまり見ないかも知れません． リストの内包表記は，Haskell, OCaml, C#にもあるようなので，結構メジャーかも知れません． [W[x] for x in X] と書くと，「Xに含まれるすべてのxに対し，それぞれW[x]を計算した結果をリストにしたもの」という意味になります．sum関数はリストの値の和を返すので，変数aにはXとWの内積が計算されます． Pythonでは，三項演算子を条
Aho Corasick 法 - naoyaのはてなダイアリー
適当な単語群を含む辞書があったとします。「京都の高倉二条に美味しいつけ麺のお店がある」*1という文章が入力として与えられたとき、この文章中に含まれる辞書中のキーワードを抽出したい、ということがあります。例えば辞書に「京都」「高倉二条」「つけ麺」「店」という単語が含まれていた場合には、これらの単語(と出現位置)が入力に対しての出力になります。 この類の処理は、任意の開始位置から部分一致する辞書中のキーワードをすべて取り出す処理、ということで「共通接頭辞検索 (Common Prefix Search)」などと呼ばれるそうです。形態素解析、Wikipedia やはてなキーワードのキーワードリンク処理などが代表的な応用例です。 Aho Corasick 法 任意のテキストから辞書に含まれるキーワードをすべて抽出するという処理の実現方法は色々とあります。Aho Corasick 法はその方法のひと
Twittext - ./techno-devel
テキストな Twitter クライアントです。 また変な名前のソフトウェアを作ってしまってすいません... About This テキストベース(CLI) のシンプルすぎる Twitter クライアント、のつもり。 Python で作られています。 シンプルすぎて困っちゃうぐらいシンプル、全然魅力じゃない。 あまり、人に公開すること考えてません。 なので、相当な変人以外使わないといいと思います。 集中講義の間の数時間でちゃちゃっと書いただけだし... 日本語の扱いが、限りなく微妙です。(特に Post 入力欄 How to Use Python で作ってますので、Python が必要です。 それと、python-twitter も必要です。 python-twitter >= 0.6 をお勧めします。 Deiban のリポジトリに入ってる、0.5 でも動作しますが... (ソース見て
easy_installでもイージーにアンインストールしたい - sheephead
Pythonに独自のパッケージ管理システムとしてeasy_installというのがあります。PerlのCPANみたいなものですね。 これはこれで、パッケージ名だけでインストールできるし、パッケージごとのバージョンアップとかもできてなかなか便利なのですが、なんとアンインストールすることができません。おいおい、イージーなのはインストールだけかい！！とツッコミでも入れてしまいたくなるわけですが、つっこんでも現状が改善するわけではないのでなんか良い方法ないかなーとtwitterでつぶやいて、そのTLがこちらの日記に流れてきたところでsiuheiさんから良いことを教えてもらいました。 DISQUS Profile | siuhei どうやら、pacoでどーにかなるらしいです。 pacoって pacoとはセルフビルドしたソフトのファイルがどこにあるかを記憶してくれる便利なソフト。make instal
「Python Hack-a-thon 2010.07」レポート | gihyo.jp
Pythonハッカソンは、Djangoハッカソン（8回まで開催）から引き継がれる形で開催されている勉強会です。7月10日、オラクル青山センターにて、4回目の勉強会「Python Hack-a-thon 2010.07」が開催されました。 Pythonと銘打っていますが、Pythonに限定しない話題も数多く登場します。今回も、Ocaml, C++(?), PHPなどについてのプレゼンもありました。初心者から上級者まで評判が良く、リピート率も高いイベントです。とにかく人気で、とくにここ数回は100人以上の規模での募集にも関わらず、申し込み後すぐにいっぱいになってしまう盛況ぶりです。 Pythonハッカソンは、ハッカソン、ハンズオン、プレゼンテーションの3つのパートで構成されています。本稿では、これらのパートごとに、今回の勉強会についてレポートします。 Note: もともとは、Pythonのウェ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Python hackathon 2010. 07. 10
String representation in py3k
Google Code Archive - Long-term storage for Google Code Project Hosting.