Latent Dirichlet Allocations の Python 実装 - 木曜不足
LDA とは "Latent Dirichlet Allocation"。文書中の単語の「トピック」を確率的に求める言語モデル。 「潜在的ディリクレ配分法」と訳されていることもあるが、その名前だと「それってなんだっけ？」という人のほうが多そうｗ。 各単語が「隠れトピック」(話題、カテゴリー)から生成されている、と想定して、そのトピックを文書集合から教師無しで推定することができる。特徴は、果物の apple と音楽の apple とコンピュータ関連の apple を区別することが出来る(ことが期待される)という点。そのために、どのトピックを生成しやすいかという分布を各文章も持つ。細かい話は略。 結果の見方としては、定量的にはパープレキシティを見るし(一般に小さいほどいい)、定性的には各トピックがどのような単語を生成するか、その確率上位のものを見てふむふむする。この「各トピックが生成する単語」
「バックエンドの経験はなかった」Instagram創業者は、どうやってシステムをスケールさせてきたか
昨日のPinterestの記事「Pinterestの急成長を支えてきたアーキテクチャとは？ Pythonで開発しAmazonクラウドで運用」に続いて、やはり写真を中心としたサービスで急成長してきたInstagramのスケーラビリティについて、まとめてみました。 InstagramもPinterestと同様に、基本はAmazonクラウド上でPythonとフレームワークのDjangoを使ったシステムを構築しています。興味深いのは、創業者の二人ともバックエンドの経験がないなかで試行錯誤をしてシステムをスケールさせてきた点です。 Instagramは先月、Facebookに買収されると発表されています。この先、Instagramのシステムはどう変わっていくのでしょうか。 Instagramのシステム構成 約半年前、昨年12月にInstagramのブログに投稿された記事「What Powers In
logging – ステータス、エラー、その他の情報をログ出力する - Python Module of the Week
logging モジュールは、アプリケーションやライブラリからのエラーやステータスといった情報をログ出力する標準の API を定義します。標準ライブラリモジュールがログ出力の API を提供する主な利点は、全ての Python モジュールが logging を使用するので、サードパーティモジュールからのメッセージをアプリケーションのログに含められます。 アプリケーションのログ出力¶ ログを精査するために2つの視点があります。アプリケーションの開発者は、 logging モジュールを設定して、適切な出力チャンネルへメッセージを出力します。これは異なる冗長レベルを用いたり、別の出力先へログメッセージを出力したりします。ログメッセージを書き込む、ファイル、HTTP GET/POST の場所、SMTP 経由のメール、汎用的なソケット、OS に特化したログの仕組みといったハンドラが全て含まれています
Scripting Languages I: Node.js, Python, PHP, Ruby - Hyperpolyglot
a side-by-side reference sheet sheet one: version | grammar and execution | variables and expressions | arithmetic and logic | strings | regexes | dates and time | arrays | dictionaries | functions | execution control | exceptions | threads sheet two: streams | asynchronous events | files | file formats | directories | processes and environment | option parsing | libraries and namespaces | objects
WebKit サーバーというものを作ってみた - IT戦記
みなさん お久しぶりですヽ(´ー｀)ノ夏休みの宿題終わりました？ 毎日が夏休みの最終日みたいな生活してるあまちゃんです！ さてさて 今日は WebKit サーバーというものを作ってみたので、紹介してみます。 WebKit って何？ WebKit っていうのは Chrome や Safari の中に入ってるブラウザのエンジンのことです！ 実はブラウザっていうのは、エンジン部分と見た目の部分（タブとかボタンとかね）に別れていて、意外と違うブラウザでもエンジン部分は同じものを使ってるってことも多いんですよ(*´ー｀) ブラウザのサーバーってどういうこと？ 要は、サーバーサイドでブラウザを起動して JavaScript を実行したり、 JavaScript が実行されないと読めないページから値を持ってくるのに使ったりしようという魂胆です。 今まではそういうのなかったの？ 実は、今までは JavaS
ベイズ識別器による関連ページの発見
ベイズ識別器、通称ベイジアンフィルタを使って、あるウェブページの内容と似たウェブページを探してみたときのメモ。 ベイズ識別器となる Python モジュールは https://pypi.python.org/pypi/Reverend です。 Reverend に渡す日本語データは「わかち書き」しないといけないので mecab を使った。 import sys import os import glob from reverend.thomas import Bayes # 類似ページを発見したいHTMLファイル inputfile = os.path.abspath(sys.argv[1]) # 判定用のデータとなるHTMLファイルが格納されたディレクトリ (Unix shell-style wildcards) sourcefiles = "/path/to/*.html" # 比較元
はてなブログ | 無料ブログを作成しよう
この半年のつれづれ みなさま、お元気ですか？ブログを書くのが半年ぶり。書きたいと時々思うものの、時が流れるのが早くてあっという間にまた一年の半分が過ぎていきました。この半年何していたかなと自分で手帳を振り返ると、マンスリー手帳の欄に「楽しかったこと」と書いて箇条書きに…
Python による日本語自然言語処理
はじめに この文書は、 Steven Bird, Ewan Klein, Edward Loper 著 萩原 正人、中山 敬広、水野 貴明 訳 『入門 自然言語処理』 O'Reilly Japan, 2010. の第12章「Python による日本語自然言語処理」を、原書 Natural Language Processing with Python と同じ Creative Commons Attribution Noncommercial No Derivative Works 3.0 US License の下で公開するものです。 原書では主に英語を対象とした自然言語処理を取り扱っています。内容や考え方の多くは言語に依存しないものではありますが、単語の分かち書きをしない点や統語構造等の違いから、日本語を対象とする場合、いくつか気をつけなければいけない点があります。日本語を扱う場合にも
python urllib urlretrieve 画像 取得 ダウンロード - peroon's diary
以前 python を使ってウェブ上から画像をダウンロードする方法を書いたら 好評だった＆もっといい方法を教えてもらったので紹介します。 #!/usr/bin/python #coding:utf-8 import urllib url = "http://www.hatena.ne.jp/users/pe/peroon/user_p.gif" savepath = "/home/ke/pyworld/hoge.gif" urllib.urlretrieve( url, savepath )初めてのPython 第3版夏目 大 オライリージャパン 2009-02-26 売り上げランキング : 98678 おすすめ平均 Python の魅力を語る本 Amazonで詳しく見る by G-Tools
第3回 ベイジアンフィルタを実装してみよう | gihyo.jp
さらに詳細な利用方法が知りたい方は、Yahoo!デベロッパーズネットワークのマニュアルを参照してください。 ベイジアンフィルタの実装 ここから本格的にベイジアンフィルタの実装に入っていきます。 その前に、まずは先程のリスト1のコードを利用して入力された文章をわかち書きし、単語の集合を返す関数を作成しnaivebayes.pyとして保存しましょう。こちらも先程のmorphological.pyと同様にutf-8で保存してください。 リスト2 文章の分割をする関数（naivebayes.py） # -*- coding: utf-8 -*- import math import sys #yahoo!形態素解析 import morphological def getwords(doc): words = [s.lower() for s in morphological.split(doc)
ベイジアンフィルタ - Λάδι Βιώσας
MeCab＆形態素解析ネタの続きで、Pythonで簡易ベイジアンフィルタ作ってみました。 ベイジアンフィルタって何ぞや？という方に簡単に説明すると、テキスト分類プログラムのことです。よくある利用方法として、あるメールが、スパムメールかそうでないのかの判別に使われたりします。 ソースはコレです。ここのサイトの説明を参考にしました。アルゴリズムはPaul Graham方式を使っています。以前のコレはctypesを使ってMeCabを呼び出していたけど、今回はPython Bindingを使って書きました。 さて、、、ベイジアンフィルタを試すには、フィルタに学習させる為のデータが必要です。しかし、ふつーにスパムメールたくさん、ノンスパムメールたくさん用意して実験してもいまいち面白くない。 そこで、次のような実験方法を考えました。 Aさん、Bさんの書いた文章をフィルタ学習用データとして用意する。そし
python2.5でpython-lastfmを使う – taichino.com
lastfmのapiが使いたくなったので、pythonのラッパーを探したところpython-lastfmと言うモジュールが見つかったので使おうとしたのですが、手間取ったのでメモ書きです。 問題はpython-lastfmではwith文やas文等のpython2.6系で加えられた構文を使っているので2.5系では使えないという事です。(as文がfrom __future__ import出来たら良かったんですけども。) 仕方が無いので自分で書こうかとも考えましたが、思ったよりもコード量が多いので何とか使えないかと試行錯誤してみる事にしました。 結論から言えば、古いリビジョンのソースコードをチェックアウトして、少しソースを修正する事で使えるようになりました。以下がその時のメモ書きになります。 # リビジョン120をチェックアウト $ svn checkout http://python-last
Panopticon :: Python :: BeautifulSoupを触ってみる
ちょっとHTMLをパースする必要があったので、BeautifulSoupを使ってみました。参考にさせていただいたサイトはこちら。 あかさかランチにっき: BeautifulSoupによるスクレイピングの練習 あかさかランチにっき: 続・BeautifulSoupのスクレイピングの練習 Perl使いのPythonちゃん: BeautifulSoupでHTML解析 Perl使いのPythonちゃん: PythonでGoogleの表示順位を取得 特定タグの抽出 >>> from BeautifulSoup import BeautifulSoup >>> import urllib2 >>> url = 'http://www.crummy.com/software/BeautifulSoup/documentation.html' >>> html = urllib2.urlopen(u
Eclipse + PyDev で日本語とりあえず | ウツと生きるハナシ
なんか、コメントとか、標準出力に、日本語入れると、エラーで止まる。 なんじゃこりゃ、と思って調べた。 一行目に # -*- coding: shift-jis -*- これでとりあえず、文字コードshift-jisのものならＯＫ 「～」とか、エラーなるのはなんでだ？ 調べよう。 つーか、なんか文字変。米マークって、なんでこんな上付きなの…。
Python Packages Index: Home
Find, install and publish Python packages with the Python Package Index Search PyPI Search Or browse projects The Python Package Index (PyPI) is a repository of software for the Python programming language. PyPI helps you find and install software developed and shared by the Python community. Learn about installing packages. Package authors use PyPI to distribute their software. Learn how to packa
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
codepad
divmod.org
Google Code Archive - Long-term storage for Google Code Project Hosting.
ITによるITなブログ : last.fmのAPIをPythonで叩こう。
はてなブログ | 無料ブログを作成しよう