Pythonでつくる検索エンジン(Webクローラ, Mecab, MongoDB, Flask) - c-bata web
検索エンジン自作入門 ~手を動かしながら見渡す検索の舞台裏 作者:山田 浩之,末永 匡発売日: 2014/09/25メディア: 単行本（ソフトカバー） (この記事で紹介しているのはTF-IDFとかの計算もない簡素なものです。) はじめに Webサービスのプログラミングに必要なことのだいたいは、スクレイピングに学んだ - Line 1: Error: Invalid Blog('by Esehara' ) この前↑の記事をみかけました。クローリングやスクレイピングは、色々と応用が効きそうなのでしっかり勉強したい。 PythonではScrapyという有名なクローリング・スクレイピング用のライブラリがありますが、今回は勉強としてScrapyを使わずに実装してみる。流れとしては以下のとおり Webクローラの構築 Mecabで日本語の形態素解析 検索エンジンの構築 データをMongoDBに格納 Fl
Python Elasticsearch Client — Python Elasticsearch client 8.13.1 documentation
Python Elasticsearch Client Official low-level client for Elasticsearch. Its goal is to provide common ground for all Elasticsearch-related code in Python; because of this it tries to be opinion-free and very extendable. Download the latest version of Elasticsearch or sign-up for a free trial of Elastic Cloud. Installation Install the elasticsearch package with pip:
複数バージョンのPythonを使い分ける
なんとなくネタとして。 Pythonは大きく2系と3系になってますが、そろそろ3系に移行しつつも2系のケアをしてあげないといけません。 なので必然的に複数バージョンのPythonを使い分けることになります。 なんかそういうの簡単にできちゃうよーという 超便利ツール があるらしいですが なんでわざわざツールの使い方覚えないといけないのかさっぱり理解不能なので、 超便利ツール にさっぱりついてけないなりのやり方をメモっておきます。 方針とか プロジェクト内ごとの環境は virtualenv を使う tox を使ってバージョンごとのテストなどを実行する /opt/python-{version} にインストールする バージョンつきの pythonコマンド(python3.4,``python2.7`` など) は PATHに常に含まれるようにする とりあえずvirtualenvするには pyth
WordNetをPythonで使うフロントエンドプログラムをPython3.3で動くよう修正した - from __future__ import katryo
類義の辞書、シソーラス。日本語のシソーラスで、無料で使える一番有名なものは日本語WordNetだろう。英語WordNetをもとにして作られた辞書で、xmlやSQLiteというファイル形式でも用意されている。 PythonからWordNetを使うには、id:yanbe やんべさんの作ったフロントエンドプログラムを使うといいのだが、これはちょっと古くてPython2系列でしか動かない。そのうえインデントが2スペースだったり関数名がcamelCaseだったりとPEP8に従わない書き方をしていて読みにくい。 そこで、PythonでのWordNetのフロントエンドプログラムをPython3.3で動くように書き直した。ついでにPEP8に従わせて、オブジェクト指向的に読みやすくした。 Githubに置いてあるので自由に使ってください。 https://github.com/katryo/wordnet_
Welcome to mysolr’s documentation! — mysolr 0.8 documentation
Welcome to mysolr’s documentation!¶ mysolr was born to be a fast and easy-to-use client for Apache Solr’s API and because existing Python clients didn’t fulfill these conditions. Since version 0.5 mysolr supports Python 3 except concurrent search feature. from mysolr import Solr # Default connection to localhost:8080 solr = Solr() # All solr params are supported! query = {'q' : '*:*', 'facet' : 't
WhooshとMongoDBを使った全文検索Webアプリの構築 - その1
ひょんなことから全文検索システムを作ることになり、いろいろ調べたことを備忘録的に記録しておく。 自分はいつもPython+Tornado+Nginx+MongoDBの構成でWebアプリを書いていて、この環境で手軽に全文検索ができたらいいなぁと思って試行錯誤した結果、本稿のようなことができることが分かったので公開しました。 【やりたいこと】 ・全文検索（基本的にN-gram。できれば記事内の単語を元に関連記事の表示や単語の編集など） ・主に.txtのファイル内のテキスト本文を対象とする ・アカウントを発行して外部にも公開 （ここは本記事の趣旨から外れるので除外する。） 【環境】 ・さくらVPS 2Core 1GBメモリ ・CentOS 6.2 ・Python 2.7.2 ・Tornado 2.4.1（フレームワーク） ・MongoDB 2.2.3（データベース） ・Nginx 1.2.6（W
pythonのwhooshで全文検索してみる - Blanktar
全文検索、一度やってみたかったのよね。 whooshってのが手っ取り早そう。 という訳で、使ってみました。 Copy import os import whoosh.fields import whoosh.index import whoosh.qparser # ディレクトリをインデックスとして使うらしい。 # インデックスがすでにあるかどうかをチェック。 if os.path.exists('/tmp/index') # 既存のインデックスを開く ix = whoosh.index.open_dir('/tmp/index') else: # インデックスの構造を定義 schema = whoosh.fields.Schema( # IDはユニーク・・・ってわけでもないらしい。 # とりあえず、インデックス化はされないとのこと。 name=whoosh.fields.ID(store
RubyプログラマがPythonを学び始めて知ったこと10選 ④ - donghai821の日記
1 クラスのメソッド定義の第一引数には必ずselfが必要。 class MyClass: def my_method(self): # 処理 尚、第一引数の名前は別にselfでなくてもよい。ただ慣習的にselfが使われる。 2 クラスをインスタンス化するには関数表記を使う。 class MyClass: def my_method(self): return 1 m = MyClass() # インスタンス化 m.my_method() => 1 ちなみにメソッドコールの時はselfは不要。暗黙的に現在のオブジェクトが渡される。 3 クラス名の一文字目は小文字でもよい。 よいけど、慣習的に大文字にしてるのだとか class my_class: def my_method(self): return 1 m = my_class() m.my_method() => 1 ちなみにモジュール名
Python の名前空間とスコープ
プログラムのロジックを考え、実装を行う上で、変数の名前空間やスコープはとても重要です。 これらはロジックを組み立てる上での複雑さに直結し、ソースコードの読みやすさにダイレクトに関係してくるためです。 この記事では、私が Python で開発をする上で気をつけるようにしている名前空間やスコープに関するお話をします。 コーディングスタイルについて 名前空間やスコープの前に、まずは基本的なコーディングスタイルについて軽くお話しします。 Python のコーディングスタイルというと、 PEP 8 – Style Guide for Python Code (日本語訳は こちら )が有名です。 これは、 Python でプログラムを書く上で守っておくとよいお作法について書かれており、 Python のコーディングスタイルとしてはデファクトスタンダードといえるでしょう。 この PEP8、例えば以下のよ
正規表現 - Dive Into Python 3 日本語版
❝ある人々は問題に直面すると、「そうか、正規表現を使うんだ」と考える。こうして彼らは２つの問題を抱えることになる。❞ — Jamie Zawinski 飛び込む 大きなテキストのかたまりから小さなテキストのかけらを取り出すのは挑戦的な課題だ。Pythonの文字列は、検索や置換のためのメソッドとしてindex(), find(), split(), count(), replace()などを持っている。しかし、これらのメソッドが機能するのは最も単純な場合に限られる。例えば、index()メソッドはハードコードされた1つの部分文字列を探すものだが、その検索は常に大文字と小文字が区別される。大文字と小文字を区別しないで検索したいときは、s.lower()またはs.upper()を呼び出して、さらに検索文字列の大文字と小文字もそれに合わせなければならない。replace()メソッドやsplit()
Using Atlas from scipy
I installed Ubuntu 12.04 64 bit. I need to work with python and scipy, I installed them and when I run the test: python -c "import scipy; scipy.test()" I get the message: ImportError: libatlas.so.3gf: cannot open shared object file: No such file or directory However, I have libatlas libraries installed under the directory /usr/lib/atlas-base. I know I can copy the files directly under /usr/lib, bu
Installing lxml with pip in virtualenv Ubuntu 12.10 error: command 'gcc' failed with exit status 4
I'm having the following error when trying to run "pip install lxml" into a virtualenv in Ubuntu 12.10 x64. I have Python 2.7. I have seen other related questions here about the same problem and tried installing python-dev, libxml2-dev and libxslt1-dev. Please take a look of the traceback from the moment I tip the command to the moment when the error occurs. Downloading/unpacking lxml Running setu
asyncioを用いたpythonの高速なスクレイピング - HackerNews翻訳してみた
「HackerNews翻訳してみた」が POSTD (ポスト・ディー) としてリニューアルしました！この記事はここでも公開されています。 Original article: Fast scraping in python with asyncio by Georges Dubus ウェブスクレイピングについては、pythonのディスカッションボードなどでもよく話題になっていますよね。いろいろなやり方があるのですが、これが最善という方法がないように思います。本格的なscrapyのようなフレームワークもあるし、mechanizeのように軽いライブラリもあります。自作もポピュラーですね。requestsやbeautifulsoup、またpyqueryなどを使えばうまくできるでしょう。 どうしてこんなに様々な方法があるかというと、そもそも「スクレイピング」が複数の問題解決をカバーしている総合技術だ
pipでインストール中にエラー「Python.h: そのようなファイルやディレクトリはありません」 - 座敷牢日誌
pipからurwidというコンソールアプリケーション関連のパッケージをインストールしようとしたら、次のようなエラーが出て失敗した。 Downloading/unpacking urwid Running setup.py egg_info for package urwid Installing collected packages: urwid Running setup.py install for urwid building 'urwid.str_util' extension gcc -pthread -fno-strict-aliasing -DNDEBUG -g -fwrapv -O2 -Wall -Wstrict-prototypes -fPIC -I/usr/include/python2.7 -c source/str_util.c -o build/temp.linu
Python の CUI デバッガ PudB が便利すぎた件
Python のデバッガといえば言語そのものに付属している pdb がまず挙げられるけど、pdb は実行中の行以外を確認できなくて正直かなり使いづらさを感じる。 それ以外の Python のデバッガとしては、以前にこのブログでも winpdb を紹介しているし、それ以外だと Eclipse PyDev プラグインの GUI デバッガをよく使っている。 とはいえ、これら二つは動作に X Window System が必要だったり、プラットフォームとして Eclipse や wxPython をインストールしなきゃいけないのが結構手間になる。 今回紹介する PudB は動作に特別なプラットフォームが不要でなおかつ pdb より便利な CUI のデバッガだ。 インストールはいつも通り PyPI から PIP で。 必要に応じて sudo などする。 $ pip install pudb 使い方は
MacPortsでMeCabを入れてPythonバインディングをvirtualenv環境に入れた - kanonji’s diary
最近読んでるオライリーの入門ソーシャルデータを読み進めるのに必要みたいだったので、MeCabを入れました。入れるのはMacPortsで簡単だったけど、ちょっとだけ注意点があったのでメモしておきます。 インストール $ sudo port install mecab $ sudo port install mecab-ipadic-utf8 $ cd /opt/local/lib/mecab/dic/ $ sudo ln -snf ipadic-utf8 sysdic $ mecab これはテストです。 #標準入力 これ 名詞,代名詞,一般,*,*,*,これ,コレ,コレ は 助詞,係助詞,*,*,*,*,は,ハ,ワ テスト 名詞,サ変接続,*,*,*,*,テスト,テスト,テスト です 助動詞,*,*,*,特殊・デス,基本形,です,デス,デス 。 記号,句点,*,*,*,*,。,。,。 EOS
64 bit python installation issues on 64 bit Windows 7
After installing 64 bit Windows 7 at work, I got a problem of installing many python utilities that search for installed python locations is windows registry. distutils (setuptools-0.6c11.win32-py2.6.exe) still could not find 64 bit python installation, as well as develer's Unofficial MinGW GCC binaries for Windows (I still do not have a solution for that one :( ). Actually, what helped me with di
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Python Flaskアプリを nginx + uWSGI 環境下へデプロイしたのでメモ
UbuntuでNumpy, Scipyをソースからインストール - LESS IS MORE
How To Scrape Websites Using Mechanize