tweepy を使って Twitter API で検索 - niiyan's blog
とりあえず AviSynth 関連のツイートを取得することを目的としているので、Twitter API で検索する方法を調べた。 tweepy v1.5 documentation*1 によると、API.search() で検索ができるらしい。戻り値は、SearchResult オブジェクトのリスト（JSON ではない）。 以前保存しておいた tweepy v1.5 のドキュメントから引用（少し古いバージョンのものです）: API.search(q[, lang][, locale][, rpp][, page][, since_id][, geocode][, show_user]) Returns tweets that match a specified query. Parameters: q – the search query string lang – Restricts t
BeautifulSoupでスクレイピングのまとめ – taichino.com
何度かBeautifulSoupについては書いているのですが、未だに使い方が覚えられずにイライラします。仕方が無いのでまとめて置く事にしました。BeautifulSoupはHTMLから情報を取得するだけ無く、HTMLの編集もできますが、ここではスクレイピング用途のみに絞っています。 使用するのは以下のHTMLです。 このHTMLを使って色々と情報を取得したのが以下です。覚えるべきはfindAllだけです。注意する必要があるのは、textを指定した場合にタグオブジェクトが取れずに、テキストオブジェクトが取れるので、一旦parentで親のタグ取りましょうという事と、正規表現で条件指定する場合は、re.compileで正規表現オブジェクトを渡すという事位ですか。 #!/usr/bin/python # -*- coding: utf-8 -*- import re import urllib f
PythonでPICマイコンを制御する「pyMCU」、価格は24.95ドル - ITジャーナリスト星暁雄の"情報論"ノート
リンクはこちら。 pyMCU 搭載チップはMicrochip PIC 16F1939。クロック周波数32MHz。Pythonで記述したプログラムをホストコンピュータ側で動作させます。PICマイクロコントローラ（PICマイコン）連携用のPythonモジュールを提供します。価格は24.95ドル。 Python言語とマイクロコントローラの組み合わせは過去にも例があり、Pythonをマイクロコントローラの上で直接動作させる「pyMite」というプロジェクトもあるそうです。ただし、マイクロコントローラ上でPython言語を動かす構成の場合は機能上の制約、コンピュータ資源上の制約が大きいため、pyMCUではホスト上で動く構成を採用したとのことです。 商品企画としては、Arduinoに近い感じです。ArduinoはAVRマイクロコントローラを軸に作られたボードで、ホストコンピュータ上の高級言語プログラム
macportsでvirtualenvとapacheとmod_wsgi - メモ腸
virtualenvで仮想環境を作ることが出来たので、これをmod_wsgi経由でapacheから利用できるようにしたいと思います。 過去にmacportsでwsgi_modを入れていたのでこれを使おうと思ったのですが、 確認したところインストールされているのはmod_wsgi@3.3_0+python26となっていてpython2.6を使用する設定になっている模様。 仮想環境はpython2.5にしたので１度deactivateにして再度インストールすることに。 sudo port install mod_wsgi -python25 しかしpython2.5を指定しても結局インストールされるのはmod_wsgi@3.3_0+python26。 うーん、ヴァージョンを下げなければpython2.5では入らないんですかね・・・。 悩んだあげく、よくわからず仮想環境をpython2.6に変更
記録: extbody -- PythonによるBlog&News本文領域抽出ツール
Pythonで、BlogやニュースのWEBページから、本文領域のHTMLを抽出するツール extbody -- Blog&News本文領域抽出ツール を作りましたので公開します。 いつものごとくα版です。（そろそろいいかげんに、ひとつひとつきっちりと作ったほうがいいよね。） 以前から、他のアプリの一部として使っていたものを分離してモジュールにまとめたものです。 * 正解率8割程度。（2ch抜粋系blogにはめっぽう弱いです。） * 日英対応。 です。 中身は試行錯誤が複雑にからまった呪文のようなソースになっておりますことをご了承ください。 最初はPython標準のHTMLパーサーや、有名なBeautifulSoupを使ってましたが、時折解析できないHTMLがありましたので、結局自筆の正規表現で解析しています。 おおざっぱにtableタグとdivタグぐらいの対応が少なくとも合っているソースで
PyCon JP 2012 は盛況のうちに終了しました - PyCon JP 2012
PyCon JP 2012 は参加者,スポンサー,スタッフ等約480名を迎えて盛況のうちに終了しました。 ご来場・ご協力いただいた皆様、ありがとうございました。
2012.05版 Python開発のお気に入り構成（ポロリもあるよ） - YAMAGUCHI::weblog
はじめに こんにちは、Python界の情弱です。最近は色々とPythonの開発環境も変化してきていて、ようやくPython2.xとPython3.xを行き来しながら開発する体制が整ってきたという印象を受けています。ここしばらくは色々と試していたのですが、ようやく鉄板っぽい方法にたどり着いたのでメモしておきます。 なお、後半はPythonに限らない内容なので、他のLLを使っていても使えそうかなと思っています。この環境を設定すると何ができるのかというと、以下のことすべてが、無料で、自鯖を立てることなく行えます。 開発環境の整理（virtualenv） ローカルでの複数環境のテスト容易化（tox+pytest） CIによるテスト（Travis-CI） ドキュメントの自動ビルドおよびドキュメントの公開（ReadTheDocs） 概要 とりあえず全体像を先に共有しておきます。ちょっとでかいですがご了
朝日新聞デジタル：グーグル、クラウドの貸し出しサービスを日本で本格展開 - 日刊工業新聞ニュース - デジタル
印刷 関連トピックスグーグル グーグル（東京都港区、有馬誠代表取締役、０３・６３８４・９０００）は、米グーグルがインターネット経由で世界展開しているクラウド基盤の貸し出しサービス「アップ・エンジン」を日本で本格展開する。企業や自治体を対象とする法人向け事業の目玉として、２０１２年中に国内サポート体制を整備。企業が作成したウェブアプリケーション（応用ソフト）をクラウド基盤で預かり、稼働率などをサービス品質契約で保証し、企業が安心して利用できるようにする。 アップ・エンジンはアプリケーションを稼働させるためのストレージ（外部記憶装置）や中央演算装置（ＣＰＵ）などのＩＴ資源を時間単位で提供する。ストレージ容量や月間接続回数が一定水準以下ならば無料で利用できる。 試しサービスとしては、最大５００メガバイトのストレージ容量、月間約５００万の接続回数に対応できるＣＰＵと帯域幅を用意した。 契約
簡単なクローラ作るならPythonだよ！
http://d.hatena.ne.jp/nishiohirokazu/20120323/1332504404 最近、Webクローラクライアントを作るお仕事が増えた。WebクローラクライアントというのはHTTP(S)を介して様々なファイルをダウンロードして解析し、結果を溜め込むだけのプログラムである。ボットともいう。 クローリングの規模が大きくなると、クロール処理部と結果貯蓄部を分離する必要がある。クローラには様々なものがあるが、ものによっては特定のサーバに集中的にクローリングを行うこともある。このとき、1つのIPを使って集中的にクローリングを行うと、攻撃とみなされ一瞬でbanされてしまう。そこで、一見するとまったく関係なさそうなIPを複数確保し、それぞれにクローラーを仕掛けて走らせるのである。 結果貯蓄部は、要するにデータベースサーバであり、何を使用しても良い。クロール処理部とのやりと
pythonのORMを色々試してみた – taichino.com
そろそろpythonでもSQLを直に書くのが面倒になってきたので、O/Rマッパーを探してみたところ、幾つか種類があったので有名どころを使ってみることにしました。今回試したのは以下の4つです。 SQLAlchemy SQLObject Elixir Storm まず用途についてですが、僕はテーブルスキーマはSQLで直に書きますので、ORMでDDLを扱うつもりはありません。DMLを簡単に扱いたいというのが一番の目標です。そこで予め作成して置いたテーブルに対してCRUD操作のし易さを比べてみました。比較に使用したのは以下のテーブルです。 CREATE TABLE `books` ( `id` int(11) NOT NULL AUTO_INCREMENT, `title` varchar(100) DEFAULT NULL, `price` int(11) DEFAULT NULL, `isbn
さくらインターネットでDjango - rokujyouhitoma's blog
業務でさくらインターネットの共有サーバを使う。その際にDjango環境を構築した。 専用サーバなら訳ないのですが、共用サーバという罠なので記事にしとく。 環境 共用サーバ Python2.6.2が標準で入ってる！ site-packagesディレクトリを作成する。 Pythonの各種ライブラリをインストールする前にインストール先のsite-packagesディレクトリを作成する。 mkdir -p $HOME/local/src cd $HOME/local/src mkdir -p $HOME/local/lib/python2.6/site-packages ln -s ~/local/lib/python2.6 ~/local/lib/python~/.cshrcに各種パスを設定。 setenv PYTHONPATH $HOME/local/lib/python:$HOME/loca
Python のジェネレータ (1) - 動作を試す
1. イテレータとはコンテナの要素を走査するためのオブジェクト これまでに Python の リスト内包表記、イテレータ について調べた。 次は、「ジェネーレータ」。 Python のジェネレータを理解するには、イテレータの理解が不可欠。ジェネレータについて調べる前に、イテレータの復習から行う。 a. イテレータの役割 Python のドキュメント「9. クラス」 における「9.8 イテレータ」の説明を確認すると、 イテレータの使用は Python 全体に普及していて、統一性をもたらしています。背後では、for 文は コンテナオブジェクトの iter() を呼び出しています。… イテレータは、Python において特別扱いされており、for 文と密接な関わりを持っている。 … この関数は next() メソッドの定義されたイテレータオブジェクトを返します。 next() メソッドは一度コン
Beautiful Soupドキュメント — BeautifulSoup Document 3.0 ドキュメント
Beautiful Soupドキュメント¶ Beautiful Soupはpythonで動作するHTMLとXMLのパーサーです。Beautiful Soupはパースしたツリーの操作、検索、変更を簡単に、かつ、今までと同じ方法でできます。これにより、プログラマーの仕事時間を節約します。また、Rubyful SoupというRuby版もあります。 このドキュメントはBeautiful Soupのバージョン3.0における主要な機能をサンプル付きで説明します。このドキュメントを読めばこのライブラリがどんなに良いか、どうやって動いているか、どうやって使うか、やりたいことをどうやって実現するか、予想と異なる動作をした場合になにをすればいいのかが分かります。 クイックスタート¶ Beautiful Soupをここから手に入れます。ChangeLogにはバージョン3.0とそれ以前のバージョンとの違いが書かれ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Python と Twisted できみにも書ける Web サーバ(1)
layer8.sh
毎月5センチメートル: MacにportからApache2+Python+Django+MySQLのまとめ
Pythonでアプリを作ることになったので勉強 3日目 (Django) | youria blog
Apache と mod_wsgi 環境で Django を使う方法 — Django v1.1 documentation
機械学習の Python との出会い — 機械学習の Python との出会い
もくじ — SQLAlchemy 0.6.5 ドキュメント (和訳)