話題のクローラー・スクレイピング！PythonならScrapyが超優秀な件
Rubyによるクローラー開発技法 読書会 第2回(兵庫県)に参加しました Nov 1st, 2014 1:05 pm | Comments 11月1日 Rubyによるクローラー開発技法 読... [amazonjs asin="4797380357" locale="JP" tmpl="Small" title="Rubyによるクローラー開発技法 巡回・解析機能の実装と21の運用例"] こういう会に参加すると、自分の知識の狭さを痛感してもっと勉強しなきゃなぁという気になります。また次回も参加させてもらいたいです。参加者の皆さん、色々ご教示いただき、ありがとうございました。 読書会では本の内容から広がった話がとても面白かったです。個人的には、Rubyのクローラー本の中身を実際に使うということは少ない気がしましたが、他の人がどのようにスクレイピングをしているのかということを知ることができたのは
Tornado Web Server — Tornado 6.3.3 documentation
¶ Tornado is a Python web framework and asynchronous networking library, originally developed at FriendFeed. By using non-blocking network I/O, Tornado can scale to tens of thousands of open connections, making it ideal for long polling, WebSockets, and other applications that require a long-lived connection to each user. Quick links¶ Current version: 6.3.3 (download from PyPI, release notes) Sour
Deneme Bonusu Veren Siteler - En Güncel Liste 2022
Bu seneninDeneme Bonusu Veren Siteler robotgames.org Hoşgeldin bonusu ve ilk üyelik bonusu veren siteler listesine aşağıdaki tablodan erişebilirsiniz. Robot oyunlarındada en iyiler listede yer almaktadır. Lütfen deneme bonusu veren siteler için redbullholdenracing.com sitesini ziyaret ediniz. Deneme bonusu veren siteler genellikle oyuncular için sunulan oldukça avantajlı bir hizmettir. Oyuncuların
【Celery】Celery 要件と環境編 - たんたんめん日記
ソーシャルゲームとバッチサーバー ソーシャルゲームには、バッチキューサーバーがかなり重要かと思います。 そのへん、みなさんどうやってるんでしょうね‥ あまり話に上がらないです。 ソーシャルゲームで求められる要件としては、こんな感じでしょうか。 時間指定で予約実行出来る。 レイドボスの終了処理や、イベントのランキング集計など、積み上げ型のキューバッチシステムではなく、時間指定で任意の処理を行う必要があります。 冗長性 バッチサーバーが死ぬと一大事です。レイドボスが終わらなかったりしかねません。サーバーを２重化するなど、冗長性の確保が必要です。 スケールアウト 負荷が増大してきた時、スケールアップでも良いんですが、サーバーを付け足せば負荷対策できるのがベストです。 積み上げ型のキューシステムはいくつかあるのですが、上記のような要件に答えてくれそうなシステムがなかなか見つかりませんでした。 （探
Pythonで実装されたMinecraft | HAPPY*TRAP
fogleman/Minecraft · GitHub Pythonで実装されたMinecraftですってよ、奥さん。しかも、ソースコードたったの1,000行未満！ YouTubeの動画をご覧になって。 というわけで、私の環境(Mac)でも試したら簡単に動いちゃいました。 手順は以下です。 ※GitHubにある指示に従ってPythonの32bitモード(?)で実行しています。$ sudo easy_install pip $ sudo pip install pyglet $ git clone https://github.com/fogleman/Minecraft.git $ cd Minecraft $ defaults write com.apple.versioner.python Prefer-32-Bit -bool yes $ arch -i386 p
Kivy: Cross-platform Python Framework for NUI
Kivy has been built to be easy to use, cross-platform and fast. With a single codebase, you will be able to deploy apps on Windows, Linux, macOS, iOS and Android. Business Friendly Kivy is released under the MIT License, is 100% free to use, and is professionally developed, backed and maintained. Companies and individuals are using Kivy for their projects every day.
RPythonで書かれたRuby処理系Topazで遊ぶ
TopazというRuby処理系が話題となっているようだ。RPythonで書かれており、CRuby(YARV)よりも高速だという。 同僚でもあるパイパニスト（語弊ある）id: rokujyouhitoma がTopazをビルドできない！と言っていた。そんなに難しいのならチャレンジしてみよう。今日はなぜかPython Tシャツを着ているし。昨日はなぜか職場でNode.jsとPerlのコードを読んでいたし。 ビルド python環境はpythonbrewで、今回はvirtualenvは使わない。OSはMountain Lion。git/Mercurial/各種ビルドツールは入っている感じで。 mkdir topazos cd topazos git clone http://github.com/topazproject/topaz hg clone https://bitbucket.org/
Announcing Topaz: A New Ruby — Topaz 0.1 documentation
Announcing Topaz: A New Ruby¶ Posted: February 6, 2013 I’m extraordinarily pleased to today announce Topaz, a project I started 10 months ago, to create a brand new implementation of the Ruby programming language (version 1.9.3). Topaz is written in Python on top of the RPython translation toolchain (the same one that powers PyPy). Its primary goals are simplicity and performance. Because Topaz bu
Private Presentation
Private content!This content has been marked as private by the uploader.
Python による日本語自然言語処理
はじめに この文書は、 Steven Bird, Ewan Klein, Edward Loper 著 萩原 正人、中山 敬広、水野 貴明 訳 『入門 自然言語処理』 O'Reilly Japan, 2010. の第12章「Python による日本語自然言語処理」を、原書 Natural Language Processing with Python と同じ Creative Commons Attribution Noncommercial No Derivative Works 3.0 US License の下で公開するものです。 原書では主に英語を対象とした自然言語処理を取り扱っています。内容や考え方の多くは言語に依存しないものではありますが、単語の分かち書きをしない点や統語構造等の違いから、日本語を対象とする場合、いくつか気をつけなければいけない点があります。日本語を扱う場合にも
Pythonでデザインパターン - モジログ
GitHub - faif / python-patterns https://github.com/faif/python-patterns GoFデザインパターンのPythonによるサンプルコードを集めたプロジェクト。以下の各ファイルが入っている。 - abstract_factory.py - adapter.py - borg.py - bridge.py - builder.py - chain.py - command.py - composite.py - decorator.py - facade.py - factory_method.py - flyweight.py - iterator.py - mediator.py - memento.py - null.py - observer.py - pool.py - prototype.py - proxy.py -
「サーバーサイドの知識の無さに全俺が泣いた」レベルの入社当時の人に読ませたら少しはアドバイスになったであろうPythonとDjangoの前提知識メモ - 憧れ駆動開発
あの頃は青かった。教えるどころか無知をさらけ出すというのはこの事だった。死ぬほど恥ずかしいので消したかったけれど、この記事が一番アクセスがあって長い間いくらか読まれていたらしい。ためらった。ただ、かつての自分といくらかの人に参考になればうれしいけれど、そろそろ役目を終えたと信じたい。もし書きなおすのなら、もう少し違う言い方か伝え方にすると思う。 内容としては 当時の自分のスペック Pythonの言語で、当時の自分が知った方法(3項演算子とか) mercurial の基礎(init, commit, push, update, log) WAF(Django)の知識 URL(ディスパッチャ)をトリガーにして Viewで処理をかく ModelにDBの内容がある ORMでリレーションを簡単に記述できる テンプレートでViewで処理した内容を表示させる チラ裏に移動させた。
オープンソースで学ぶ社会ネットワーク分析
本書は社会ネットワーク分析の基礎理論への理解を、オープンソースのプログラミング言語Pythonを使って体感しながら深めるための書籍です。ソーシャルネットワーク分析の背景となる理論を学びたいスタートアップ企業や、社会学の理論をプログラミング言語を使って実践的に研究したい研究者などにとって、役立つ知識を学ぶ助けとなります。なお本書はEbook版のみの販売となります。 2012/7/20 誤植等を修正してファイルをアップデートしました。2012-7-20版をダウンロード可能です。 2013/5/20 誤植を修正してファイルをアップデートしました。2013-5-20版をダウンロード可能です。 正誤表 ここで紹介する正誤表には、書籍発行後に気づいた誤植や更新された情報を掲載しています。以下のリストに記載の年月は、正誤表を作成し、増刷書籍を印刷した月です。お手持ちの書籍では、すでに修正が施されている場
Rubyの会社でPythonistaが3ヶ月生き延びた話
2. 自己紹介 @tokoroten 好きな言語はPythonとawk 画像処理、セキュリティ、自然言語処理、機械学習 2012年2月 ドリコム中途入社 前職は某通信会社研究所、会社を三年で辞めた若者 入社時点でRuby経験ゼロ うんこ部屋入社 http://onk.bz/data/2008-02-24/1000speakers2.html ソーシャルゲーム基盤開発本部 R&D&火消し&インフラ＆データ収集&データ解析 ＝高機能雑用 3. 本日のアジェンダ データ解析の仕事の紹介 データ解析の基盤の紹介 データ解析の仕事の流れ データ解析の恐怖 ソーシャルゲーム屋の仕事の速さ Rubyの会社でRubyを書かないお仕事 リクルーティング的な何か 4. ドリコムのデータ解析基盤 データ解析 Hadoop Hive MySQL Rubyでゴリゴリ Pythonでゴリゴリ VBAでデータ加工 詳し
Hashnote - Vimを最強のPython IDEにする
pythonbrewによるフレキシブルなPython環境の構築 Vimの設定とかはあまり関係ないですが最強を詠うために最強のPython環境が必要なので構築します。最強の環境とは インストールされているPythonのバージョンが違うことによって不可解なバグが発生しない インストールされているライブラリのバージョンが違うことに不可（ｒｙ インストールされているライブラリ同士が干渉して不可解な（ｒｙ だと思っています。これらを解決するために pythonbrew という素晴らしいソフトを利用します。 ただこのソフトはシェルが前提となっているのでWindowsをお使いの方は代わりに virtualenv をインストールして先に進んでください。 Pythonには大きく分けて2.x系と3.x系の大きなバージョンがあり、この二つは相容れないものとなっています。 2.x系はずっと使われてきたもので外部ラ
Instagram のスケール正攻法 -- Kosei Kitahara's Blog
Instagram がどこに買収されたとかは他のニュースサイトにお任せして、Django アプリケーションを正攻法でスケールして "成功" してるのがとても興味深いです。現時点で Instagram Engineering で紹介されていることと TechCrunch にも掲載されたスライドから個人的なメモとしてまとめてみました。 Instagram の哲学は シンプルであること オペレーション負荷を最小化すること すべて装備 とのこと。 Instagram は以下の OSS, サービスで構築されているようです。 >>> OS / ホスティング Ubuntu Linux 11.04 を Amazon EC2 にホスティング。以前のバージョンは高トラフィックになると固まる問題があったようです。運用は 3 人。EC2 にホスティングしている理由は、調査結果によるものではなく、"まだ進化途中だか
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
php プログラマのための Python チュートリアル — phpy 0.1 documentation
Charming Python: Functional programming in Python, Part 3
機械学習の Python との出会い — 機械学習の Python との出会い
php プログラマのための Python チュートリアル — phpy 0.1 documentation