About Stanford CoreNLP provides a set of natural language analysis tools which can take raw text input and give the base forms of words, their parts of speech, whether they are names of companies, people, etc., normalize dates, times, and numeric quantities, and mark up the structure of sentences in terms of phrases and word dependencies, indicate which noun phrases refer to the same entities, ind

タイトルの通り、Sublime Text 3にSublime Linterを追加して、さらにPython用の設定(pep8, pep257)をします。 Package Controlを導入Package Controlのページの説明の通りです。 Sublime Textを起動後、Ctrl + ` もしくは、ツールバーの Views > Show Console からコンソールを起動します。 以下の内容をコピー＆ペーストして、Enterを押せば完了。 import urllib.request,os,hashlib; h = '7183a2d3e96f11eeadd761d777e62404e330c659d4bb41d3bdf022e94cab3cd0'; pf = 'Package Control.sublime-package'; ipp = sublime.installed_pac

Make 24 monthly payments Pay 0% interest Start using the domain today. See details

こんばんは．1000chです． 以前の記事ではtweepyを用いてtwitterAPIを叩いて遊びました． tweepyはtwitterAPIのラッパーライブラリで，とても便利に使えます． ですが今回はこれに頼ることなく，，直接twitterAPIを叩いてみます． そこに理由なんて存在しません． ただやってみたいからやるのです． てわけで，requestsというhttpライブラリを用いてtwitterAPIを直叩きして遊んでみました． requests requestsは，python向けのシンプルなhttpライブラリです． http for humansとある通り，利用の簡便さに重きをおいているようです． pythonには標準でurllib2などのhttpライブラリが搭載されていますが，httpとしての機能はともかく．APIの利用が煩雑です． PyPIで8,000,000回以上のダウンロ

相互情報量を用いた特徴選択（2010/6/19）のつづきです。今回は、相互情報量ではなく、カイ二乗値を用いて特徴語を抽出してみます。カイ二乗検定は独立性の検定によく使いますけど、特徴語の抽出にも応用できるってのははじめて知りました。結局のところ相互情報量もカイ二乗値もカテゴリと単語がどれくらい依存しているかを表す尺度なのでアプローチは似ている感じがします。IIRの13.5を参考にして実装します。 カイ二乗値 カイ二乗値の定義は、 です。NやEが出てきますが、下のようなクロス表を用いて計算します。たとえば、単語「iPhone」とカテゴリ「IT」のカイ二乗値を求めたいとき、クロス表は下のようになります。たとえば、カテゴリがITで単語iPhoneを含む文書はデータ中にN11個あるなどと解釈します。 カテゴリがITである カテゴリがITでない 計 単語iPhoneを含む N11 (E11) N10

こんにちは、初心者です。 適当なニュース記事があったとして、ニュースのカテゴリを推測するみたいな、よくあるやつをやってみました。Python3.3を使いました。 何をやるの？ データセットはlivedoorニュースコーパスを使いました。 http://www.rondhuit.com/download.html#ldcc クリエイティブ・コモンズライセンスが適用されるニュース記事だけを集めてるそうです。 トピックニュース、Sports Watch、ITライフハック、家電チャンネル 、MOVIE ENTER、独女通信、エスマックス、livedoor HOMME、Peachy というクラスがあります。 データは、1記事1テキストファイルの形式で、クラス別のディレクトリにいっぱい入っています。 これを学習して、未知の文章に対して、お前は独女通信っぽい、お前は家電チャンネルっぽい、みたいに、分類が

Flask にはリクエストを処理するコールバックが呼び出される前と後に何らかの処理を挟むことができる。 Web アプリケーションフレームワーク的には一般にフィルタと呼ばれているものかな。 ロギングや認証など、複数のコールバックを横断するような処理は各コールバックの中に書いてしまうと煩雑になりがち。 同様の仕組みは WSGI Middleware を使っても実現できるんだけど、アプリケーションの中で完結していると分かりやすい。 ひとまず Flask をインストールしておく。 $ pip install flask 前後に処理を挟むには Flask#before_request と Flask#after_request のデコレータを使う。 次のサンプルコードでは、これを使ってリクエストとレスポンスの内容をログに残している。 #!/usr/bin/env python # -*- codin

どうも。前日のRubyに負けるな！HerokuでPython(Django)動かす方法に触発されて思わず登録してしまいました。kounoikeです。 herokuでmatplotlibでSVGなグラフを書くという記事でもFlask＋herokuの導入について触れているのですが、今回はmatplotlib抜きの記事としてみましょう。その代わりに MongoHQ をちょこっと使ってみます。 Flaskとは？ Djangoが「フルスタック」Web フレームワークなら、Flask は「micro」Web フレームワークです。標準の Flask コアは Jinja2 テンプレートエンジンと Werkzeug WSGI ツールキットの２つのライブラリにしか依存していません。提供する主な機能はルーティング、Jinja2 テンプレート、静的ファイルの提供、デバッグ支援くらいでしょうか（すべてを知っている訳

偶然pythonを使って簡単なweb applicationを作ることになったので使ってみた。 求めるものとしては 導入が簡単 routingなどの最低限の機能 template があればよかった。ちょうど探してみるとBottleというのが良さげだったのでメモ代わりに。 とりあえずpython自体も初めて使うのでpythonのインストールから python2系か3系か、どっちを使えばいいのかすら分からなかったのでとりあえず複数の環境を持てるpyenvを使うことに。 pyenvのinstall cd ~ git clone git://github.com/yyuu/pyenv.git .pyenv echo 'export PYENV_ROOT="${HOME}/.pyenv"' >> ~/.zshrc echo 'eval "$(plenv init -)"' >> ~/.zshrc e

この記事について 下記2つを使って簡単かつ高速にWebアプリ開発をスタートできることを紹介します。 開発スタートから公開まで目標は4分33秒とします。 bottle: Pythonの軽量Webアプリケーションフレームワーク Heroku: アプリケーション実行プラットフォーム 実際には出会って4分33秒で即公開という要求も必要も無いだろうとは思います。 ただ、4分33秒でデプロイできるというのはWeb開発のハードルがどんどん下がっていることの証左ですし、その感覚をコードとともに持っておくことは大事だと思う次第です。 この記事を読んでわかること 4分33秒でHello Worldアプリを全世界に公開する方法 4分33秒で公開したアプリを1分で片付ける方法 環境構築〜公開まで 0.事前準備 下記がインストールされていること。 最低限 git Python 2.7.9 heroku toolbe

インポートの基本構文とファイル 構文は次のようになります。 import {.pyを除いたファイル名} #import hogehoge_file ファイルの探索順序 インポート対象ファイルの探索は次の順序で行われます。 実行中のファイルと同じフォルダ カレントフォルダ 環境変数「PYTHONPATH」に列挙したフォルダ sys.pathに登録してあるフォルダ 参考:Pythonのモジュールインポートのしくみ — PythonMatrixJp 探索範囲を拡張する このままでは上記以外のパスにあるファイルをインポートできません。 これを解決するには、探索範囲に指定ディレクトリを追加する必要があります。 rubyでいう $LOAD_PATH.push('/path/to/dir')、 phpでいう set_include_path('/path/to/dir')のようなものだと思います。 py

色々な環境でを動かしていたり、アプリケーションサーバが複数ある場合に、どの環境からメールが送信されたのかわかりづらい。 なのでメールのサブジェクトにホスト名を含めて送信する。 socketモジュールでホスト名を取得することができるので、これをプレフィックスにしてメールを送信する。 socket

2015-01-10 pipでlxmlをインストールしようとしたらエラーが出た python 環境 centos6.5 python3.4 pipでlxmlをインストールしようとしたらエラーが出た。 # pip install lxml ... error: command 'gcc' failed with exit status 1 gccはインストール済みだったので原因が分からなくてググったら以下のページがヒット。 【Python】pip install が出来ない件について！｜teratail どうやらlxmlのビルドツールがシステムにインストールされてなかったのが原因らしい。 ので、それをインストール。 # yum install libxslt-devel 再度lxmlインストール # pip install lxml Successfully installed lx

以下の github 掲載コードをお借りして、Python から Gmail に、メール送信テストをしてみました。 noexpect / mail.py 「pythonでGmail経由でメール送信。」 （目標） 以下のサイトなどを頼りに、グラフや計数データやメッセージを織り込んだ、HTMLメールを Python から配信したい。 （さらに、HTML に D3.js や HighCharts で美しいグラフを入れられたら） Python入門 「HTML メールの送信」 以下、冒頭の github のコードです。（送信先メールアドレスは私のもの） パスワードの文字列は、XXXXX でマスキングかけています。 （実際に実行したコードには、パスワード文字列を記述しています） #!/Usr/bin/env python # -*- coding: utf-8 -*- import smtplib f