Pythonでつくる検索エンジン(Webクローラ, Mecab, MongoDB, Flask) - c-bata web
検索エンジン自作入門 ~手を動かしながら見渡す検索の舞台裏 作者:山田 浩之,末永 匡発売日: 2014/09/25メディア: 単行本（ソフトカバー） (この記事で紹介しているのはTF-IDFとかの計算もない簡素なものです。) はじめに Webサービスのプログラミングに必要なことのだいたいは、スクレイピングに学んだ - Line 1: Error: Invalid Blog('by Esehara' ) この前↑の記事をみかけました。クローリングやスクレイピングは、色々と応用が効きそうなのでしっかり勉強したい。 PythonではScrapyという有名なクローリング・スクレイピング用のライブラリがありますが、今回は勉強としてScrapyを使わずに実装してみる。流れとしては以下のとおり Webクローラの構築 Mecabで日本語の形態素解析 検索エンジンの構築 データをMongoDBに格納 Fl
Python 2.7.x と 3.x の決定的な違いを例とともに | POSTD
Pythonを始めたばかりのユーザーの多くが、どちらのバージョンを使えばいいのか迷っています。私の答えは、「気に入ったチュートリアルに書かれているバージョンにしましょう。そして、あとで違いを調べてください」という言葉につきます。 それでは、新しいプロジェクトを始めるときにはどちらを選べばいいのでしょうか？ 使おうとしているライブラリを全てサポートしているなら、2.7.x系と3.x系のどちらを使ってもよいでしょう。そうはいっても、この2つのメジャーバージョンについて大きな違いを見ておくのは良いでしょう。どちらかのみでコードを書いたり、プロジェクトに使おうとしている時によくある落とし穴を避けられるからです。 __future__ モジュール Python 3.x で導入されていて Python 2 で使えないキーワードについては、 __furute__ モジュールをインポートすることで Pyt
Python パッケージ管理技術まとめ (pip, setuptools, easy_install, etc) | yunabe.jp
Python パッケージ管理技術まとめ (pip, setuptools, easy_install, etc) Python のパッケージ管理関係の情報がオフィシャルには整理されてなく、 またパッケージ管理まわりででてくるキーワードもいくつもあって分かり難いので完結にまとめてみました。 このドキュメント自体は少し長いですが、結論としては2015年1月時点では 原則 pip を使ってパッケージの管理を行う setuptools も広く使われているので入れておくとよい。そもそも pip のインストール時に自動的ににインストールされる distribute は 2013年に setuptools にマージされたので不要 という方針でよいと思います。 ただ少し古い情報ソースやパッケージのドキュメントを読んでいると distribute の利用が勧められていたり、 site-packages, e
Pythonでストリーム暗号RC4を実装し、脆弱性の一端を垣間見る - ももいろテクノロジー
この頃、SSLの暗号化などにストリーム暗号RC4を使わないほうがいいといった話がよく聞かれるようになった。 2013年版のCRYPTREC暗号リストでも128bitのRC4が「運用監視暗号リスト」に入っているし、先日には、Microsoftからストリーム暗号RC4を使わないようにというセキュリティアドバイザリが出ている。 CVEとしては今年の3月に出ているようだ。 NVD: Vulnerability Summary for CVE-2013-2566 JVNDB-2013-001910 そこで、ここでは実際にPythonでRC4を実装し、RC4の脆弱性に関する簡単な例を再現してみる。 ストリーム暗号とは何か 暗号には大きく分けて公開鍵暗号と共通鍵暗号がある。 公開鍵暗号は、他人に見られても大丈夫な鍵（公開鍵）と自分だけが知っている鍵（秘密鍵）のペアを使って暗号化するもので、代表的なものに
sshハニーポットをkippoで作ってみる - ろば電子が詰まつてゐる
ハッカージャパンは結構昔からの愛読者なのだが、先日発売された2013年9月号ではSSH Honeypotであるkippo(http://code.google.com/p/kippo/)が紹介されていた。 Hacker Japan (ハッカー ジャパン) 2013年 09月号 [雑誌] 出版社/メーカー: 白夜書房発売日: 2013/08/08メディア: 雑誌この商品を含むブログ (2件) を見る ということで、今回このkippoを試してSSHハニーポットの構築をしてみる。 kippoとは何か sshのハニーポットはあまり数も多くなく、「これ!」という定番は無いのが現状である(たぶん、作るのが面倒くさい割に需要もほとんど無いからだろう)。本当に必要な研究者などが、各自で作っている話は聞いたことがある。そんな中、有名なものにKojoneyがあるが、2010年から更新されていないようだ。 Ki
RubyとPythonとC#のround関数のバグっぽい挙動について - hnwの日記
(12/29 20:40追記)「（追記）なぜMySQLのdecimal型を例に使ったかについて」というセクションを追加しました。また、コメントを頂戴したので返信しました。 (12/29 21:30追記)C#について言えば「Math.Round メソッド (Double, Int32)」に内部実装がどうなっているか書いてあるので仕様通りであり、誤解しようが無いという情報を頂きました。ありがとうございます。そしてごめんなさい、確かにバグじゃないです！ (12/29 21:50追記）Pythonのround関数のドキュメントにも誤差が入るかもしれないという記述があります。しかし、内部実装の紹介があった方がいつどういう誤差が入るかわかるので親切かなという気がします。また、浮動小数点数の性質上誤差が入るのは仕方が無いかのような記述に見えるのですが、浮動小数点数を使っていても誤差の入らない実装がありう
)
Mac で Python の開発環境構築(2013.11) - methaneのブログ
しばらく Mac からおさらばしていたのですが、ゆえあって戻ってきました。 Python 3.3 ベースで Python 環境の構築をしたので、参考までに手順を残しておきます。 1. Homebrew で Python 3 をインストール とりあえずベースになる Python を用意します。いまならもう Python 3 を普段使い用にできるので、 Python 3 を用意します。 $ brew install python3 MacPorts でも大丈夫だと思います。 2. 自分用のデフォルト環境を作る システムの Python に直接自分が普段使うツール類をインストールするのは憚られるので、自分用のデフォルト Python を用意します。 Python 3.3 では venv が標準ライブラリにあるので、この手順で virtualenv を手動で準備する必要がなくなりました。 $ mk
最近 Python で時間を扱うモジュールは『arrow』がブームらしいメモ - 牌語備忘録 -pygo
(python==2.7, arrow==0.3.5) crsmithdev/arrow · GitHub Arrow: better dates and times for Python — Arrow 0.4.4 documentation Arrow - better date & time manipulation for Python : Python <-作者さんが質問に答えてる。名前の由来とか。 dateutilあるけど、arrowもいいらしい。 こっちの方がモダンっぽいらしい。 id:Voluntas師匠に教えてもらった。 >>> import arrow # 現在 >>> arw = arrow.utcnow() >>> arw <Arrow [2013-09-05T15:06:49.312975+00:00]> # 翌月（年月日を複数形で指定して増減） >>> arw.
リストをn個ずつのサブリストに分割 (Python) - おぎろぐはてブロ
愚直にやればもちろんできるんだけど、パフォーマンスが気になったり、かっこよく書きたいとか思うわけです。 >>> a = range(15) >>> a [0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12, 13, 14] >>> [a[i:i+3] for i in range(0,15,3)] [[0, 1, 2], [3, 4, 5], [6, 7, 8], [9, 10, 11], [12, 13, 14]] range(0, 15, 3) が [0, 3, 6, 9, 12] に展開されて、スライスしていく感じ。 zip(*[iter(s)]*n) で n 個ずつ分割 探しているとこんなのがでてくる。 2. 組み込み関数 — Python 2.7ja1 documentation iterable の、左から右への評価順序が保証されます。そのため z
PythonのWebフレームワーク６種をかんたんに紹介 - モジログ
１月に「Pythonを始めるなら、１ファイルの軽量Webフレームワーク「Bottle」がおすすめ」というのを書いたところ、なかなか反響が大きかった。そこで今回は、私がいくらか使ったことがあるPythonのWebフレームワーク６種について、かんたんに紹介するというのをやってみたい。コメントは、私のごく主観的な印象に基づいている。 Bottle（ボトル） http://bottlepy.org/ 「bottle.py」という１ファイルだけでできている。環境構築が不要なので、Python入門に最適。１ファイルに全部入っているので、組み込むのも容易だし、依存リスクもないので、実用にもいいと思う。これだけシンプルなのは、生存戦略としても強い。 CherryPy（チェリーパイ） http://cherrypy.org/ Bottleより大きいが、外部依存がないので、これも環境構築不要で、Python入
Vimを最強のPython開発環境にする2 - Λlisue's blog
本気でPythonをやりたいならあわせて読みたい「え？君せっかく Python のバージョン管理に pyenv 使ってるのに Vim の補完はシステムライブラリ参照してるの？」 2013-06-23 21:30 おしりに追記しました 2013-06-24 10:00 設定等微修正しました 2013-06-24 15:20 quickrunの設定を修正しました 2013-07-03 14:30 間違い等を修正しました 様々な開発環境を試してきましたが、結局Vimに落ち着いてしまっているAlisueです、どうも。 Vimを最強のPython IDEにするを書いてからかれこれ二年ほどが経ちます。 二年もあると新しいVimプラグインが増えるなどし、先の記事内容では最強ではなくなってしまいました。なのでこの辺でもう一度現在の最強をまとめてみたいと思います。 基本方針 プラグイン関係はすべてNeoBu
pipの使い方 - そこはかとなく書くよ。
注意 この内容はすでに古くなっています。 pipの使い方 (2014/1バージョン) を参照してください。 pipとは、Pythonにおけるパッケージ管理システムです。easy_installというツールもあるのですが、pipはこのeasy_installを置き換えるものとして開発されています。rubyのgem、perlのcpan的な位置づけです。 同じパッケージ管理ツールとしてsetuptools置き換えのdistributeというものもあるのですが、こちらはsetuptools全体を置き換えるものとして開発されており、pipはsetuptoolsの一部であるeasy_installを置き換える形です。 なお、現在のpipのバージョンは0.8.2で、このエントリはこのバージョンを使っています。 なにかおかしい点があれば、ご指摘ください。 > 識者の方々 pipのinstall まずはea
python3用とpython2用のmultipleなdebパッケージを作るubuntuパッケージの作り方 - ラシウラ
debパッケージの作るのにはdebianディレクトリ以下の記述ファイルが多く必要で、その管理のためにコマンドやツールを多用したりするため、(rpmのspec作成がコピペから始められるのに比べると、)最初のものを用意するまでに多くの知識を得る必要があります。 そして、pythonパッケージを作る、python2系だけじゃなくpython3系でも使えるようにするパッケージの作るための情報というのは特に少なく、他の構成でのやり方をいろいろ試していきながらうまくいく方法を得ました。 この記事では、python-helloソースから、python2系用のpython-helloパッケージと、python3系用のpython3-helloパッケージを同時に作成することを想定したもので、応用可能な方法を記述していきます。 パッケージ対象 debの元となるパッケージは、python2でもpython3でも
Fabric デプロイツールのPythonicな書き方 - Ian Lewis
Fabric は指定したコマンドを各ホストで実行する実行モデルです。この場合は特にホストの指定がなかったので、全部ローカルで、一回実行することになります。 これは結構つまんないので、本当の例を見ましょう。これは最近、仕事で作ったコマンドです。 nginx サーバーでメンテ画面を出すようなコマンドです。 各ロードバランサーで実行します。 from fabric.api import run, cd, abort, require, sudo, env from fabric.decorators import runs_once, roles from fabric.contrib.console import confirm ... @roles('loadbalancers') def start_maintenance(): """ メンテナンス画面に切り替える """ _produc
今日からすぐに使えるデプロイ・システム管理ツール Fabric 入門 - 科学と非科学の迷宮
Fabric は、Python 製のデプロイ・システム管理ツールです。 最近、構築や運用を自動化するための様々なツールが出てきています。 構成管理ツールの Puppet や Chef が有名ですが、使うまでに覚えることが多いのが欠点です。 しかし、Fabric は非常にシンプルなツールで、今からすぐに使うことができます。 Fabric はデプロイ・システム管理ツールで、類似のツールとして Ruby 製の Capistrano があります。 Fabric の最大の特長は、シェルスクリプトを書き慣れた人がいきなり利用できるところです。 シェルスクリプトとしてまとめていたコマンドをそのまま run() メソッドや sudo() メソッドで囲むだけで、使うことができます。 シェルスクリプトを使っていていると、いくつもの問題に遭遇します。 名前空間の管理 変数の扱い 複雑なデータ構造がない(せいぜい
Django
最初のステップ¶ Django やプログラミングは初めてですか？ それなら、ここから始めましょう！ 何もないところから始めるなら: 概要 | インストール チュートリアルはこちら: その 1: リクエストとレスポンス | その 2: モデルと管理サイト | その 3: ビューとテンプレート | その 4: フォームと汎用ビュー | その 5: テスト | その 6: 静的ファイル | その 7: 管理サイトのカスタマイズ 高度なチュートリアル: 再利用可能なアプリケーションの書き方 | Django へのパッチを初めて書くには 助けを求める¶ 困り事ですか？手を貸しましょう！ FAQ を探してみましょう。よくある質問への答えなら、ここで見つかります。 特定のトピックに関する情報を探していますか？ それなら、 genindex や modindex 、そして ドキュメントの詳しい目次 を見て
CLIでJSONの整形をする - ( ꒪⌓꒪) ゆるよろ日記
curlとかで取ってきたJSONを整形して表示したかったのでググったらいい方法があったので。 unix - How to pretty-print JSON from the command line? - Stack Overflow パイプで`python -mjson.tool`に渡すだけ。pythonすごい。 $ curl -s http://api.tumblr.com/v2/blog/david.tumblr.com/info\?api_key\=fuiKNFp9vQFvjLNvx4sUwti4Yb5yGutBN4Xh10LXZhhRKjWlV4 | python -mjson.tool { "meta": { "msg": "OK", "status": 200 }, "response": { "blog": { "ask": true, "ask_anon": false
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://kwatch.houkagoteatime.net/blog/2013/12/07/python-tips/
HTML5 WebSockets - security & new tool for attacking
How do I install Python 3.3?
