Python Webスクレイピング テクニック集「取得できない値は無い」JavaScript対応@追記あり6/12 - Qiita
この記事について 本記事はPythonを使ったWebスクレイピングのテクニックを紹介します。 ※お酒飲みながら暇つぶしで書いたので割と適当です。 今回紹介するテクニックを使えれば経験上大体どんな値でも取得でき、これらはRubyだろうがGolangだろうが同じ様に動作します。 Webスクレイピングが出来ないサイトがあればコメントにて教えてください。全身全霊を持ってやってみます。 また、Webスクレイピングをしたことが無い方は下記の記事を読むことをお勧めします。 Python Webスクレイピング 実践入門 - Qiita 追記更新 6/12 コメントに対応しました。 はじめに 注意事項です。よく読みましょう。 岡崎市立中央図書館事件(Librahack事件) - Wikipedia Webスクレイピングの注意事項一覧
Python による日本語自然言語処理
はじめに この文書は、 Steven Bird, Ewan Klein, Edward Loper 著 萩原 正人、中山 敬広、水野 貴明 訳 『入門 自然言語処理』 O'Reilly Japan, 2010. の第12章「Python による日本語自然言語処理」を、原書 Natural Language Processing with Python と同じ Creative Commons Attribution Noncommercial No Derivative Works 3.0 US License の下で公開するものです。 原書では主に英語を対象とした自然言語処理を取り扱っています。内容や考え方の多くは言語に依存しないものではありますが、単語の分かち書きをしない点や統語構造等の違いから、日本語を対象とする場合、いくつか気をつけなければいけない点があります。日本語を扱う場合にも
Pythonを始める人への日本語情報集 - None is None is None
@mopemopeさんからバトンを渡されました、2011 Pythonアドベントカレンダー(Python3) 16日目担当のおもけん（@doloopwhile）です。 Q「RubyとPythonどちらが初心者向けでしょうか？」 A「Pythonは日本語情報が少ないので、Rubyがおすすめです」 質問掲示板などで、しばしば見かけるやり取りです。しかし、本当にPythonは日本語情報が少ないのでしょうか？ 確かに、かつてはRubyの情報量の方が圧倒的だったでしょう。しかし、現在ではPythonも日本で広く使われ、Pythonプログラマーのブログも多数あります。少なくとも初心者がPythonを始めるのに情報不足ということはありません。 そこで、明日のPythonプログラマーのため、日本語情報を列挙しておきます。ワリと無難というか、常識的な資料ばかりです。 結局、何を読めばいいの？５つの日本語情報
スクレイピングするなら ScraperWiki 使うといいよ - ヤルキデナイズドだった
Web ページからデータを抽出してデータベースに突っ込むことに性的興奮を覚えるみなさん、 ScraperWiki 使うとキモチイイですよ。以上です。 そうではないみなさんには少々の説明が必要かと思いますので少々書きます。 ScraperWiki はスクレーパ（Web ページをスクレイピングするスクリプト）とスクレイピングで得られたデータを共有しようぜっという Web サービスです。Wiki と名が付いていますが Wiki っぽいページ構成になってるわけではなく、スクレーパやデータを誰でも編集できるようにして成果を共有するという理念が Wiki と共通しているのが由来みたいです。 ScraperWiki を使うとスクレーパを作るのがラクになります： Web ベースのエディタでスクレーパを書き、その場で実行できる PHP、 Python または Ruby が使える（HTML パーサなどのモジュ
Google App Engine / Python 上での開発で最初から知ってればよかった、ってことをいくつか - Masatomo Nakano Blog
ここ数ヶ月、Google App Engine/Pythonを使い、初めてちょっとしたものを作ってみているのだけど、開発初期から知っておけばよかったなー、と思うノウハウ/tips的なものをずらずらと書いてみる。 基本的な環境設定は、 以前書いた まま。 0. 公式ドキュメントを良く読む 言うまでもなく、だけど、 マニュアル はもちろん、 この辺 の下の読み物も、流し読みだけでもしておいたほうがいい。 datastoreとmodel的なところ 1. key nameを使いこなす key nameは、レコードの作成時に指定できる(RDBでいう)primary keyの別名みたいなもの。primary key自体は自動的で作成されるので開発者が指定できるのはkey nameだけ。 key nameをうまく使うことで、datastoreを使いやすくすることができる。特にdatastore上で"un
非エンジニア女子による、15分間でできるfacebookアプリデビュー：GAE（Python編） : ゼロスタートの広報ブログ
2011年05月20日21:33 [GAE][Python][facebook] 非エンジニア女子による、15分間できるfacebookアプリデビュー：GAE（Python編） カテゴリやってみたfacebook Tweet みなさん、お元気ですかこんにちは！ ゼロスタートの広報もりのです。 今回は、週末にチャレンジしてみるのに丁度いい塩梅の記事をお届けしようかと思います。 まず前提ですが、今回は非エンジニアのためのエントリです。 「非エンジニアなんだけど、 facebookアプリとか登録したい！ Pythonで、いじってみたい！！ でも全部英語だし、 コードとかもよく分かんない！！」 という、そこのあなた！ 食わず嫌いなあなたにこそ読んでいただきたい。 だいたい15分くらいで、facebookアプリ動かせます。 キャプチャ付きでご紹介しますので、この通りやれば出来
【無料】GAE使ってみない？【無広告】 « python練習帳
みなさん、Google App Engineって聞いたことありますか？ あっ、それしってる。Google Docsとかでしょ？って思った方。惜しいけど違います。 Google App Engineとは、Googleが運営している宇宙最強のデータセンタを、一定量まで無料で使える仕組みなのです。 ほんとに無料なの？ Google App Engineを使って無料でサイトを立ち上げる方法にもありますが、無料割り当て分(Free Quota)だけで、かなりの規模のサイトを運営できます。1日の通信量が1GBまでなら基本的にお金はかかりません。100kB/pvとして、1日1万PVまで無料です。個人運営のサイトなら、たいていは無料利用分で足りるのではないでしょうか。 プログラム必要なんでしょ？ Google App Engineを使って無料でサイトを立ち上げる方法の方法を使えば、プログラムを一切書かずに
PythonでWebアプリ開発入門のススメ Flask/MongoDB - mizchi log
TwitBlogin! http://twitblogin.com/ とか作ったことだし、そこそこ開発環境整って、今なら思いつく限りのサービスはさっくり実装できそうだったのでPython初心者向けに書いておく。 少しでもPythonユーザが増えれば幸い。 対象は Python の基本的な構文程度はわかるけど、具体的に何から手をつけていいかわからない人 目次 Apache/WSGI/MongoDBの環境構築 flask [ Sinatra風ウェブアプリケーションフレームワーク] pymongo [ MongoDBラッパー ] werkzeug [Web Application デバッガ] jinja2 [ HTMLテンプレートビルダー ] pyquery [ jQuery風HTMLパーサ ] nose [ TDD ] 細かいライブラリの使い方とかPython本体の言語仕様とかは適当にぐぐって
Pythonドキュメントの日本語訳のPDFがすごい - 偏った言語信者の垂れ流し
先日公開されたPythonドキュメントの日本語訳のPDFがすごい。なにがすごいって、ページ数が合わせて3000ページぐらいあるところが。 ダウンロードファイル一覧 - Python Japanese Environment - OSDN いつもお世話になってます。ドキュメントの著者、翻訳者の方々に感謝。 追記 このPDFはSphinxというドキュメンテーションシステムを使って出力されてます。 オリジナルはreStructuredTextという形式のテキストファイルです。 Overview — Sphinx 1.4.3 documentation Sphinx-Users.jp — Python製ドキュメンテーションビルダー、Sphinxの日本ユーザ会 Google Project Hosting
Google App Engineでmixi Graph APIを使ってボイスを取得する - k_kinukawaの日記
id:kyoro353がmixi graph APIを使った写真投稿を書いていたので、 Pythonでmixiの新しいAPIを使うプログラムを書いてみたよ 便乗して表示系を。 mixiが先日からGraph APIを一般ユーザーにも公開を始めました。 mixi Developer Center - Graph API このAPIを使うと、外部のアプリからmixi内部のデータにアクセスすることが出来るようになります。 最近、自分もこのAPIを使って色々遊んでいます。 上のid:kyoro353の例は写真の投稿ですが、writeしたらreadもしたい。 自分の場合、Google App Engineを使って簡単なプログラムを書き、色々なデータを表示して遊んでいます。 下の例では、リダイレクトURLをlocal環境にしておいて、ローカルでGoogle App Engineを使ったmixi Grap
5分でわかる Python を知らない人が Python の便利さを学べる記事をかいたよ | Act as Professional
昨日はJavaScript版が出たので、あまり書いたことのない Python を勉強がてら書いてみました。 Python を知らない人に Python の話をして欲しいと言われてないけど、ブログを書きました。(*1) 難しい話は抜きにしたいんだけど、抜きにしちゃうとまったく訳わかんないから簡単に説明する。 今回は Python の psp ってのを使って元ネタ同様のことを実現する。 mod_python や CGI が動くサーバなんて自分でつくらないとないだろうけど、その辺はどうにかしてもらう。 そんなこんなで、どうにかしてもらったら、 <%= と %> で囲めば動きます。 import ではじまるコードの部分とか事前に処理するところは <% と %> で囲んでください。 どうにかしてもらったサーバで example.html というファイルの拡張子を example.psp すれば良いだ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
AndroidのNFC機能でFeliCaの読み書きをする | −ゆめログ− | ゆめみスタッフブログ