Scrapy | A Fast and Powerful Scraping and Web Crawling Framework
pip install scrapy cat > myspider.py <<EOF import scrapy class BlogSpider(scrapy.Spider): name = 'blogspider' start_urls = ['https://www.zyte.com/blog/'] def parse(self, response): for title in response.css('.oxy-post-title'): yield {'title': title.css('::text').get()} for next_page in response.css('a.next'): yield response.follow(next_page, self.parse)EOF scrapy runspider myspider.py
GT Nitro: カーレーシング・ドラッグレーシングゲーム - Google Play のアプリ
GT Nitro: Car Game Drag Raceは、典型的なカーゲームではありません。これはスピード、パワー、スキル全開のカーレースゲームです。ブレーキは忘れて、これはドラッグレース、ベイビー！古典的なクラシックから未来的なビーストまで、最もクールで速い車とカーレースできます。スティックシフトをマスターし、ニトロを賢く使って競争を打ち破る必要があります。このカーレースゲームはそのリアルな物理学と素晴らしいグラフィックスであなたの心を爆発させます。これまでプレイしたことのないようなものです。 GT Nitroは、リフレックスとタイミングを試すカーレースゲームです。正しい瞬間にギアをシフトし、ガスを思い切り踏む必要があります。また、大物たちと競いつつ、車のチューニングとアップグレードも行わなければなりません。世界中で最高のドライバーと車とカーレースに挑むことになり、ドラッグレースの王冠
Amazon アソシエイト Web サービス改め Product Advertising API の電子署名について調べてみました - niiyan's blog
Amazon アソシエイト Web サービスが Product Advertising API に名称変更されたのにともない、リクエストごとに電子署名を含めなければならなくなるようです。これは 2009 年 5 月 11 日から同 8 月 15 日まで段階的に導入され、その後、認証されないリクエストについては処理されなくなるとのことです。 私はこの件について最初にメールで知ったのですが、Amazon アソシエイト・プログラム（アフィリエイト） 公式ブログ: Amazon アソシエイト Web サービスの名称変更および署名認証についてのお知らせにも同様の記事が掲載されています。詳しくはそちらを参照してください。 なんだか非常にややこしそうな話で、すでに半ば心が折れそうな状態ですが、ちょっとがんばって調べてみました。まだ書きかけの部分もありますが、あとで調べなおしたことがあれば随時追記していき
Sign in - Google Accounts
Not your computer? Use a private browsing window to sign in. Learn more about using Guest mode
全文検索エンジンLuxとPythonの軽量Webアプリケーションフレームワークfapws3で構築する高速検索サービス - FutureInsight.info
今、手元で検索サービスを作成するためにいろいろ実験をしているのですが、ある程度ノウハウが貯まったので公開しておこうかと思います。長いエントリーになりますので、検索サービスの構築に興味がある人だけ閲覧下さい。 一般的な検索エンジンは主に2つのパートに別れます。一つは、クローラとインデクサからなるデータを収集するバックエンド、もう一つは検索を行うフロントエンドです。クローラとインデックス部分に関してはまだ手元で試しているところなのです紹介できる状態にないのですが、Pythonを用いたフロントエンドに関しましては、だいたいやり方がわかってきたので、ここで公開しておこうと思います。個人レベルが作れそうな検索サービスの構築に興味がある方はよんでいただければ幸いです。 [追記]クローラ部分は時間がかかりそうなので、インデクサ部分を公開しました。 全文検索エンジンLuxのboost-pythonを用いた
モダンPython開発環境入門 - Doge log
今日、KevinさんところにBespinの話が出ててそいつを見てて思った。 最近のpython開発環境はこんな感じだろうと。 エディター 軽量なものが好まれてるのはまあどこもみんな同じだろう。 vim emacs TextMate MacだとTextMateを使ってる人がやはり多いっぽい。 ターミナル 素。 screen必須。 必須な理由はvirtualenvでactivateするからかな。 utilityモジュール もうほぼ鉄板でpip, virtualenvを使ってるっぽい。 pip virtualenv paver Bespinの動画ではpaver軽油で色々やってる感じだった。 いろんなタスクがpythonスクリプトでざくざく書けるので流行るかも知れない。 VCS まあこれももう鉄板かも。 git mercurial その他 環境に関係ないけど傾向。 sqlalchemyは市民権を得
Python力を高めるためのライブラリコードリーディング - Doge log
id:yuroyoroがpython力を高めるとか言ってたのを聞いて、自分の場合どうだったかなあと。 思い入れがあるものを簡単に。まあ参考になれば。 pure python系 まずはpure python系 django 結構python初心者のころからdjangoのソースは読んでた。 多分、今ほど大きくなかったからだと思う。 学べることはPEP8、__import__の使い方、デコレータによるトランザクション管理などなど多岐にわたる。 但し、いきなりモデル周りに手を出すときついのでWEB側の入り口である方 django.core.handlers.base.py ぐらいがいいかなと。 middlewareってどうやって呼び出し、実行してるか、urlの解決方法などから入ると割りととっつきやすいかと。 フルスタック故カバーしてる範囲が多いのでずっと参考になる。 標準ライブラリのソース あんま
DjangoやPythonを使ったWebシステム開発のお供に·FirePython MOONGIFT
Webシステム開発を行っているとデバッグメッセージを表示したいと思うことは多々ある。画面にメッセージを出しても良いだろうが、常々使うのであればログファイルなどを利用した方が効率的だ（デザインへの影響もあるので）。 FirebugとPythonをつないでくれる 開発者には見えてユーザには見えない（見ることもできる）、そんな素敵なメッセージプラグインがFirePythonだ。 今回紹介するオープンソース・ソフトウェアはFirePython、Firebugと連携するPythonデバッグライブラリだ。 FirePythonは二つのライブラリが提供される。一つはPython側で利用するライブラリで、もう一つはFirefoxアドオンとして動作するものだ。Python側でメッセージを送信し、それをFirebugが受け取って表示してくれるようになる。 設定画面 PHPでは同様のソフトウェアとしてFireP
Zineがかなりよい感じ - スコトプリゴニエフスク通信
http://zine.pocoo.org/ZineはPython製のブログ・エンジン。Werkzeug, Jinja2, SQLAlchemy, Babel等を利用して書かれている。実際に動かしてみた訳ではないが、コードを読む限り、バージョン0.1と言いながらも、コードの質も、コード内のコメントも、モジュールの構成の仕方も非常にセンスを感じる。SQLAlchemyの使い方にも参考になるところ多数。WerkzeugもJinjaも知っていたが作者が同じというのは初めて知った。Werkzeugでこれだけの良質なものが作れるとすると、Django, Pylonsに迫る勢力になることは間違いないと思う。【追記】ローカル環境で動かしてみた。 SQLAlchemyのtrunk版でないと動かない(5.0rc4ではダメ)。WordPressのようにテーマが豊富ない？以外は、WordPressと遜色なく使え
Python関西勉強会に参加しました＆発表資料
大阪で行われたPython関西勉強会に参加してきました。 初のPython勉強会参加＆発表でしたので、とても新鮮でした。 完全アウェイな感じかなと思っていたのですが、CakePHP関西勉強会でご一緒した方が何人か来られていたり、そもそもPython関西の雰囲気自体が馴染みやすいものだったので、ホームな気分で楽しかったです。（体調さえ良ければ・・・） Pythonによる業務事例紹介 中西さん Pythonの事例は是非聞いてみたかった。 MonotaRO [http://www.monotaro.com/] ECは全部Python!基幹系も60%がPython! Java => Python CGI => mod_python Python Servletってあるんだ。Javaだけかと思ってた。 psp？Python Server Pages : JSP/ASPを参考 全行にコメント！ Fra
Pythonのコードをきれいに書くためのTips — TRIVIAL TECHNOLOGIES 2.0
みんなのIoT/みんなのPythonの著者。二子玉近く160平米の庭付き一戸建てに嫁/息子/娘/わんこと暮らしてます。月間1000万PV/150万UUのWebサービス運営中。 免責事項 プライバシーポリシー Pythonのようなスクリプト言語の特徴の一つとして，データをソースコードに直接埋め込みやすい，というものがあると思います。実際，Pythonのコードを見ると文字列，リストや辞書といった高機能で使い回しのしやすいデータ型が，リテラルとしてソースコードに埋め込んであるのをよく目にします。時には変数に代入されたり，時には関数やメソッドの引数部分に埋め込まれたり。 いちいち離れた場所にあるデータを見に行ったり，オブジェクトを作るための宣言をする必要がなく，処理をしたい場所の間近にデータを埋め込めるので，とても便利なのですが，欠点もあります。無造作にデータ型のリテラルを埋め込んでいると，ソース
局所的にクラスを拡張する - Doge log
withを使ってなにか出来ないかずっと考えてたんだけどありきたりなアイディアしか浮かばなかった。 でもあまりwithをどうこうっていうのを書いてる人もいなかったので書いておく。 with句のブロック間のみクラスを拡張する。 from contextlib import contextmanager @contextmanager def mixin(cls, mixcls): bases = cls.__bases__ try: cls.__bases__ += (mixcls,) yield cls finally: cls.__bases__ = bases class A(): def test(self): print("is A") class B(): def spam(self): print("is B") a = A() a.test() #a.spam() #=> At
inforno :: Python2.6変更点まとめ
Python2.6きましたね。ということで、自分用にも主な変更点メモ。なぐり書きなのでミス多いかも。個人的な注目部分は with文 multiprocessing itertoolsへのメソッド追加 ABCの導入 クラスデコレータの導入 ネットワーク系ライブラリ(http,ftp,telnet..etc)でタイムアウトが設定できるようになった。 あたりですかね。ではどうぞ。 Python 3.0由来の変更点 複素数へオブジェクトを変換する __complex__ メソッド。 例外補足のためのもう一つ書き方： except TypeError as exc build-inの reduce() に加え、 functools.reduce の追加。(3.0では reduce はfunctools経由でしか使えない) 3.0では他にもbuild-in関数に変更がある。3.0互換のコードを書きたい
スケジューリング - Doge log
何秒後に実行する、キューにためこむイメージで後々、まとめて実行するなど スケジューリングして実行するサンプル。 方法は２つあってbisectかheapq。 どちらもソート済みにするって点は同じかな。 bisect import bisect import time timers = [] def add_timer(second, cb, *args, **kwargs): scheduled_time = time.time() + second insert = bisect.insort_right insert(timers, (scheduled_time, (cb, args, kwargs))) def fire_timer(): now = time.time() last = bisect.bisect_right(timers, (now, ())) for i in
split の研究 - bkブログ
split の研究 split 関数の挙動が言語ごとに微妙に異なると知人と話題になったので調べてみました。結果はまとめをどうぞ。 Ruby まずはRubyから調べてみます。irb を使って調べました。 % irb ... まずは普通に分割 >> "a,b,c".split(",") => ["a", "b", "c"] 末尾に空要素があると、省略されてしまう >> "a,,c,,".split(",") => ["a", "", "c"] 末尾の空要素を省略しないためには -1 が必要 >> "a,,c,,".split(",", -1) => ["a", "", "c", "", ""] 空文字列だと結果も空 >> "".split(",") => [] -1 をつけても同様 >> "".split(",", -1) => [] 分割パターンを指定しない場合も同様 >> "".split
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
liris.org
IBM Developer
RELOADING...
kndb.jp
kndb.jp