CS 276: Information Retrieval and Web Search
Information retrieval is the process through which a computer system can respond to a user's query for text-based information on a specific topic. IR was one of the first and remains one of the most important problems in the domain of natural language processing (NLP). Web search is the application of information retrieval techniques to the largest corpus of text anywhere — the web — and it is the
はじめての Django アプリ作成、その 1 — Django v1.0 documentation
さあ、例を交えながら学んでゆきましょう。 このチュートリアルでは、簡単な投票 (poll) アプリケーションの作成に取り組ん でもらいます。 Poll アプリケーションは、 ユーザが投票したり結果を表示したりできる公開用サイト 投票項目の追加、変更、削除を行うための管理 (admin) サイト の二つの部分に分かれているものとします。 Django は既にインストール済み ですよね？ では始めま しょう。 Django がインストールされているかどうかは、Python 対話シェルを起動 して import django を実行してみればわかります。エラーなく import できる なら、 Django はインストールされています。 プロジェクトの作成¶ 初めて Django を使うのなら、最初のセットアップを行う必要があります。通常は、 Django の プロジェクト (project)
Djangoで「X-MAC-JAPANESE〜」とかエラーが出たら - 牌語備忘録 -pygo
『http://www.everes.net/2007/sep/06/install-django-for-begginers-osx/』さんの記事そのままメモ。 OSXを日本語設定で使っている場合に、一部問題が出る箇所がありますのでDjangoのソースコードを一部変更します。 テキストエディタで、 /Library/Frameworks/Python.framework/Versions/Current/lib/python2.5/site-packages/django/utils/tzinfo.py というファイルを開きます。 8行目に、DEFAULT_ENCODING = locale.getdefaultlocale()[1] or 'ascii' という行がありますので、その下に2行ほど付け加えて保存します（コピー＆ペーストしてください）。 subversionとかでDjang
Djangoチュートリアル（前編）
はじめに 近年、Webアプリケーション開発で用いるプログラミング言語として、Lightweight Language（以降LL）と呼ばれるスクリプト言語が人気を博しています。本稿では、そのスクリプト言語の中からPythonとWebアプリケーションフレームワークのDjango（ジャンゴと読む）を紹介します。 Pythonの大きな特徴として、「言語仕様が小さくシンプルであり、簡潔で読みやすいアプリケーションを作れる」という点が挙げられます。DjangoはPythonの簡潔さをうまく活かし、シンプルかつ本格的な開発ができるWebアプリケーションフレームワークです。本稿ではこのDjangoによるアプリケーション開発の基本をチュートリアル形式で説明します。 対象読者 PythonによるWebアプリケーション開発に興味がある方 日頃、Perl、Ruby、PHP、Java、C#などPython以外のプロ
第6回 Djangoフレームワークを利用してWebアプリケーションを作成する
今回はPythonの代表的なWebアプリケーションフレームワークであるDjangoを紹介しましょう。 DjangoはPythonを代表するフルスタックなフレームワークで，独自のテンプレートエンジン，O/Rマッパー等を備えています。DjangoはGoogleAppEngineのSDKにも含まれています。 前回の記事ではGoogleAppEngineでDjangoのテンプレートを利用する例を紹介しました。DRY(Don't Repeat Yourself)，テストサーバーを利用した素早い開発，正規表現を用いたURLディスパッチ，再利用性の高いコンポーネントといった特徴を持ちます。これらの特徴はRubyのフレームワークであるRuby on Railsと似ているところがあります。 昨今，Railsの台頭により国産のスクリプト言語Rubyが人気を集めていますが，Pythonは可読性が特に高く，未経験
MacでDjangoをさわってみた - SOSOG
新年，あけましておめでとうございます． 年明け一発目はPythonネタです．PythonのWebアプリケーションフレームワークはいくつかあって，Ruby on RailsみたいWebアプリならこれ！という状況にはなっていません．私はTurboGears派で今までDjangoを触ったことがありませんでしたが，昨年末にリリースされたTurboGears 2.0β1がうまく導入できなかったので，Google App Engineでも採用されたDjangoも試してみることにしました． 第6回 Djangoフレームワークを利用してWebアプリケーションを作成する | 日経 xTECH（クロステック）を参考にやったのですが，一部うまくいかなかったので補足しておきます．今回使用したバージョンはPython 2.5.2とDjango 1.0.2です．また，DBにはSQLiteを使いました． インストール
Dynamic Programming による類似文字列マッチの実装例
Dynamic Programming による類似文字列マッチの実装例 2007-01-22-4 [Programming][Algorithm] 「Modern Information Retrieval」(8.6.1 p.216) での Dynamic Programming (DP) の解説のところのアルゴリズムを 素直に Perl で実装したみた。 さらにマッチ箇所取り出しロジックも実装してみた。 # DP はいわゆる「類似文字列検索（あいまい検索）」に使うと 便利なalgorithm。 実は、大学院でも前の会社でも、PerlやらC++やらで実装して使ってた。 単純ながら使い勝手もよく、まさに現場向きかと。 grep 式に頭から見ていくので計算量的にはイマイチなのだが、 転置インデックス検索などで範囲を絞ってから適用すれば実用上問題ない。 ■定義みたいなの Q1. 二つの文字列 "
IIR輪講＠はてな - Tous Les Jours 攻防記
IIR輪講＠はてなで、第２章（The term vocabulary and postings lists）を担当してきました。 作成した駄訳とスライド資料を置いときます〜。ご自由に利用いただいてかまわないです。 第２章で登場したアルゴリズムのうち、[postings list intersection via skip pointer]と[positional postings list] について、Rubyで実装してみました（訳文内に載せてあります）。 第２章邦訳（The term vocabulary and postings lists） 発表スライド（OpenOffice Impressフォーマット） 原文はこちら: http://www-csli.stanford.edu/~hinrich/information-retrieval-book.html
はてなグループの終了日を2020年1月31日(金)に決定しました - はてなの告知
はてなグループの終了日を2020年1月31日(金)に決定しました 以下のエントリの通り、今年末を目処にはてなグループを終了予定である旨をお知らせしておりました。 2019年末を目処に、はてなグループの提供を終了する予定です - はてなグループ日記 このたび、正式に終了日を決定いたしましたので、以下の通りご確認ください。 終了日: 2020年1月31日(金) エクスポート希望申請期限:2020年1月31日(金) 終了日以降は、はてなグループの閲覧および投稿は行えません。日記のエクスポートが必要な方は以下の記事にしたがって手続きをしてください。 はてなグループに投稿された日記データのエクスポートについて - はてなグループ日記 ご利用のみなさまにはご迷惑をおかけいたしますが、どうぞよろしくお願いいたします。 2020-06-25 追記 はてなグループ日記のエクスポートデータは2020年2月28
IIR の「効果的な」階層的クラスタリング (nakatani @ cybozu labs)
IR の階層的クラスタリングを試すの続きです。 "efficient" な HAC(hiererachical agglomerative clustering) を実装してみます。 今回は、コード全体をぺたぺた貼り付けるのも見にくいし面倒だしということで、github に置いてみました。 git://github.com/shuyo/iir.git 前回作った corpus パックも commit してありますので、 clone すればいきなり動く、はず。 git clone git://github.com/shuyo/iir.git cd iir/hac ruby hac.rb 4million.corpus おのおの手元でちょこちょこ改変して試してみるには CodeRepos より git の方が向いてるんじゃあないかなあと思ったんですが、git まだ使いこなせてないのでなんか色々
IIR の階層的クラスタリングを試す (nakatani @ cybozu labs)
Pathtraq で Web ページの自動分類を手がけてみて。 Web ページは日々どんどん変わっていくのでフィルタは常に更新されなければいけないんですが、そのためには適切なタイミングに、適切な学習データを用意しなければならない。大変。 メンテナンスフリーが理想ですが、もちろん難しい。 現実的なところとしては「追加学習が必要なことを検知して、適切な学習データの候補を提案してくれる」というものが作りたいなあ……などなど考えているわけです。 そこらへんも含めて、自然言語処理とか機械学習とかそこら辺のお勉強をしてるんですが、実際に手を動かさないとわかんないですよねー。 というわけで、 "Introduction to Information Retrieval" の Chapter 17 "Hierarchical clustering" に沿って、ドキュメントの分類器を作ってみました。 ポイン
SQLite - ドットコマンド
スポンサードリンク SQLiteのドットコマンド .help ".help" と叩くと色々なコマンドがあることがわかるので一つ一つ見てみる。 $ sqlite3 test.db SQLite version 3.3.6 Enter ".help" for instructions sqlite> .help .databases List names and files of attached databases .dump ?TABLE? ... Dump the database in an SQL text format .echo ON|OFF Turn command echo on or off .exit Exit this program .explain ON|OFF Turn output mode suitable for EXPLAIN on or off. .he
SQLite チュートリアル - Third impact
Copyright (c) 2004 by Mike Chirico mchirico@users.sourceforge.net この文書は Open Publication License v1.0（1999年6月8日版）またはそれ以降の 条件と合意に基づき配布されます。 この文書の最新版 . Updated: Thu Jan 11 17:35:19 EST 2007 この記事は、一般コマンドとトリガーから始めて、sqlite3の能力と簡潔性を探究していくことにします。 そして次に、別々のデータベースを跨る複数のテーブルを、データのコピーや移動のオーバーヘッドなしで、1つの仮想テーブルとして結合する方法を紹介して、union操作を伴うattachステートメントをカバーします。 次に、sign関数が絶対値とIF条件を定義する方法についての短い数学的事例をつくったあとで、簡潔なsi
SQLite Tutorial
Copyright (c) 2004 by Mike Chirico mchirico@users.sourceforge.net This material may be distributed only subject to the terms and conditions set forth in the Open Publication License v1.0, 8 June 1999 or later. The latest update of this document . Updated: Thu Jan 11 17:35:19 EST 2007 This article explores the power and simplicity of sqlite3, starting with common commands and triggers. It then cove
rails100 / FrontPage
Top 100 Rails Sites There are many ways to guess traffic rank from the web. One is Alexa, another is Compete. Luckily both have APIs. Alexa Rankings Compete Rankings Quantcast Rankings (USA only) Sites that might qualify, but unfortunately can't be tracked: Facebook Apps Rails-powered subdomains Feel free to add your site to the lists in order. Make sure the formatting matches the other entries so
NLTK :: Natural Language Toolkit
Natural Language Toolkit¶ NLTK is a leading platform for building Python programs to work with human language data. It provides easy-to-use interfaces to over 50 corpora and lexical resources such as WordNet, along with a suite of text processing libraries for classification, tokenization, stemming, tagging, parsing, and semantic reasoning, wrappers for industrial-strength NLP libraries, and an ac
ウノウラボ Unoh Labs: 2009年版Python開発環境を整えよう
なでしこの作者じゃない方のsakatokuです。 以前書いた「Python開発環境を整えよう」という記事からだいぶ時間が経ってしまったので、内容を更新したいなぁと思っていたのですが、ようやくその機会が来ました。 virtualenvで開発環境をつくる 開発環境をつくるにあたって次のような問題が生じると思います。 root権限がないためにインストールしたいライブラリが使えない 新しいライブラリをインストールしたり、既存のライブラリをアップグレードすることで、既に動いているアプリケーションを壊したくない 複数のバージョンのPythonを使って開発、テストを行いたい 自作したPythonパッケージのインストールのテストを行いたい 以前の記事ではvirtual-pythonという解決策を紹介しましたが、現在ではvirtualenvというツールが広く使われるようになってきています。 virtuale
検索とランキング - 人工知能に関する断創録
集合知プログラミング 作者: Toby Segaran,當山仁健,鴨澤眞夫出版社/メーカー: オライリージャパン発売日: 2008/07/25メディア: 大型本購入: 91人 クリック: 2,220回この商品を含むブログ (277件) を見る 4章の検索とランキングを読んだ。pythonを使ってシンプルな検索エンジンを作ってるけどけっこう感動した。この本すごいよ。技術メモと感想。 1. クローリング 検索エンジンの第一歩となるWebページを収集するクローラを作る。昔は、クローラというプログラムがWebサーバを渡り歩いてデータを収集し、本部のサーバへデータを送るというイメージを持っていたのだがこれは全く違う。実際は、本部からURLへアクセスしてデータをダウンロードするだけ。実体がサーバを渡り歩くプログラムはモバイルエージェントと言ってクローラとは目的が異なる。 urllib2を用いるとWeb
Introduction to Information Retrieval - シリコンの谷のゾンビ
IIRの勉強記録．自分で読んだときのメモ 01 Boolean retrieval (pp.1-18) 02 The term vocabulary and postings lists (pp.19-32) 03 Dictionaries and tolerant retrieval 04 Index construction 04 Index construction (1) (pp.61-67) 04 Index construction (2) (pp.68-71) 04 Index construction (3) (pp.72-77) 05 06 07 08 Evaluation in information retrieval 09 Relevance feedback & query expansion 10 XML retrieval 11 12 13 14 Vector
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
IBM Developer
Linux Tips
Pythonコーディング規約