Python による日本語自然言語処理
はじめに この文書は、 Steven Bird, Ewan Klein, Edward Loper 著 萩原 正人、中山 敬広、水野 貴明 訳 『入門 自然言語処理』 O'Reilly Japan, 2010. の第12章「Python による日本語自然言語処理」を、原書 Natural Language Processing with Python と同じ Creative Commons Attribution Noncommercial No Derivative Works 3.0 US License の下で公開するものです。 原書では主に英語を対象とした自然言語処理を取り扱っています。内容や考え方の多くは言語に依存しないものではありますが、単語の分かち書きをしない点や統語構造等の違いから、日本語を対象とする場合、いくつか気をつけなければいけない点があります。日本語を扱う場合にも
GAEでPythonを始めるときに知りたい4つのまとめ
if ( $blog == " Webエンジニアのためのライフハック " ) { print " 1-byte.jp "; } ホーム1-byte.jpとは 書いてるヒトは 最近、とても気になっていることがあります。 それが”Google App Engine + Python”です。 元々、Pythonには興味がありました。 オライリーのPython入門も読破しました。 10日でおぼえる Python 入門教室も5日まではやりました。 しかし、そこで終わりました…。 CakePHPという慣れ親しんだ言語とフレームワークがあったので、そちらに走ってしまいました。 ですが、私はPythonistaに憧れるPHPerです。 ここいらで一つ、重い腰を挙げてPythonの勉強を始めることにしました。 Pythonを勉強する一つの強い理由付けとして、”Google App Engine“の存
google appengine に関してひと言
ここ数日、Twitter上で appengine に関する発言をたくさん目にする。それを見る限り、「注目をされてはいるが、手を出しかねている人が多い」というのが現状だろう。そこで、私からもひと言。 App Engine は純粋なソフトウェア・エンジニアにとっての天国 私自身、色々な開発環境を試して来たが、私のようにプログラミングが大好きで、新しい言語や環境を学ぶのが楽しくて仕方が無いエンジニアにとっては、「App Engineは天国」というのが正直な感想。SQLやRailsのように一見開発効率を良くしてはくれるが、直感的に実行効率とかが把握できない「補助輪付きプログラミング」と違い、App Engine上でのプログラミングは、ちょっと手を抜くとすぐに実行効率の悪さとして跳ね返ってくる「一輪車プログラミング」。 新しい言語を学ぶのが苦ならApp Engineは避けた方が良い 現時点で、Pyt
((Pythonで) 書く ((さらに良い) Lisp) インタプリタ)
((Pythonで) 書く ((さらに良い) Lisp) インタプリタ) Peter Norvig / 青木靖 訳 前のエッセイでは、90行のPythonコードでシンプルなLispインタプリタを書く方法を示した(lis.py)。このエッセイでは、3倍込み入っているが、より完全なlispy.pyを実装しよう。それぞれの節で1つの機能追加を扱っている。 (1) 新しいデータ型 - 文字列、論理型、複素数、ポート Lispyへの新しいデータ型の追加は3つの部分からなる。データの内部表現、それを扱う手続き、読み書きのためのシンタックスだ。ここでは4つの型を追加する(入力ポート以外はPythonのネイティブ表現をそのまま使う)。 文字列 文字列リテラルはダブルクォーテーションで囲まれる。文字列の中で \n は改行を、\" はダブルクォーテーションを意味する。論理型 構文 #t と #f はTrue
((Pythonで) 書く (Lisp) インタプリタ)
Peter Norvig / 青木靖 訳 このページには2つの目的がある。コンピュータ言語の実装について一般的な記述をすることと、Lispの方言であるSchemeのサブセットをPythonで実装する具体的な方法を示すことである。私はこのインタプリタをLispy (lis.py)と呼ぶ。何年か前に私はJavaとCommon LispでSchemeインタプリタを書く方法を示した。今回の目標は、アラン・ケイが「ソフトウェアのマクスウェル方程式」と呼んだところの簡潔さと取っつきやすさを可能な限り実現するということだ。 SchemeのサブセットLispy の構文と意味論 コンピュータ言語の多くは様々な構文的な決まり(キーワード、中置演算子、カッコ、演算子優先順、ドット記法、セミコロンなど)を持っているが、Lisp族言語の1つとして、Schemeの構文はすべてカッコ付きの前置記法であるリストを基本とし
やる夫と Python で学ぶ Twitter の OAuth - 宇宙行きたい
OAuth 調べてみたら難しくて理解出来なかったので， Python で標準ライブラリだけで 1 から書いてみました． ／ ＼ ／ _ノ ヽ､_ ＼ ／ oﾟ(（●）) (（●）)ﾟo ＼ twitter の OAuth 難しいお… | （__人__）' | ＼ ｀⌒´ ／ ＿＿＿_ ／⌒ ⌒＼ ／（ ●） （●）＼ ／::::::⌒（__人__）⌒::::: ＼ だからやる夫でやるお！ | |r┬-| | ＼ `ー'´ ／ Python のサンプルコードを付けていますが， 上から順に読めるようにおもいっきり手続き型で書いています． コメントで実際の処理の説明を書いています． Consumer Key と Consumer Secret の入手 ／￣￣＼ ／ u ＼ .＿＿＿_ |:
Clojureのエレガントではないところ - None is None is None
Clojure のエレガントなところ - hozumiの日記 一つの事をするのに複数の方法があるところ。 Pythonに毒された感覚ですが。 Pythonは「誰もが正しいと考える、たった1つの方法をできる限り採用する（There should be one—and preferably only one—obvious way to do it）」という方針に従って設計されています。 Python 3.0ではreduce関数（Clojureのreductions）は組み込み関数ではなくなりました。ループで書くというベターな選択肢があるからです。mapもfilterも無名関数も、あまり推奨されていません。map/filterはリスト内包表記、無名関数も名前付き関数という、より良い選択肢があるからです。もちろん、後方互換性の問題がありますし、使わないわけでもないのでreduceもfunctoo
Clojure派がPythonを酷評 - karasuyamatenguの日記
Clojureで食っているという者がPythonをfunctional programmingやconcurrencyの観点から批評。Pythonは色々なパラダイムをサポートしようとしすぎて何もうまくできない幼稚な言語になってしまったという結論。 http://blog.bestinclass.dk/index.php/2009/10/python-vs-clojure-evolving/ Functional Programming 簡単なアルゴリズムならclojureとpythonの表現力はさほど変りないが、複雑なものになってくると大違い。それをprojecteulr(http://projecteuler.net/)からの実例で示している。euler4の答だとPythonが4以上のコードサイズになってしまう。 「Euler 4: Finding Palindroms」を参照。 Con
人生を書き換える者すらいた。: 人材獲得作戦・４ 試験問題 - kusano_progの日記
人生を書き換える者すらいた。: 人材獲得作戦・４ 試験問題ほか 30分くらい。 知らなければなかなか解けない問題だし仕事でこういうプログラム書くことは無いんだろうな、とは思う。 maze = open("input.txt","r").read().splitlines() w = len(maze[0]) h = len(maze) inf = w*h for y in range(h): for x in range(w): if maze[y][x] == "S": sx = x; sy = y if maze[y][x] == "G": gx = x; gy = y dist = [[(inf,)]*w for y in range(h)] dist[sy][sx] = (0,) for i in range(0,inf): if dist[gy][gx][0] < inf: br
【ハウツー】シンプル&タイプセーフなJava用モックライブラリ"Mockito"の魅力 (1) Mockitoとは? | エンタープライズ | マイコミジャーナル
ユニットテストを記述する際に問題になるのがモックの作成方法だ。テストケース時にモックに差し替えることを想定してしたコードであればテストケースでモックに差し替えることは難しくない。しかし、差し替えるモックを作成する手間は馬鹿にならない。そこで登場するのがモックライブラリだ。 モックライブラリはテストケースで使用するためのモックオブジェクトを手軽に作成するためのものだ。実際にモックオブジェクトのクラスを定義しなくても、動的にモックオブジェクトを作成できるものが多い。 Java向けのモックライブラリにはJMock、EasyMockなどさまざまなものがあるが、本稿で紹介するのはMockitoという比較的新しいモックライブラリだ。 MockitoのWebサイト MockitoはMITライセンスで開発されているオープンソースソフトウェアで、他のモックライブラリと比較して直感的な記述でモックの挙動を設定
Google App Engineで作るライフログ（1/2）－ ＠IT
Google App Engineで作るライフログ：これ、俺ならこう使う（4）（1/2 ページ） 日々生み出されるネットサービスやテクノロジーに詳しい著者による、こんなふうにサービスに取り込んだら面白いのではないか、という提案。技術的な応用面にフォーカスしていく（編集部） Google App Engineで次世代版「音ログ」を作ってみた ちょっと涼しい日が続いているなと思っていたら、いつの間にか季節は秋。近所の柿の木にオレンジ色の実がぶらさがっているのを見て、あらためて日々の流れの早さを実感しています。 最近は、トイカメラのような写真を撮れるiPhoneアプリ「ToyDigi」にはまっていて、早速カシャカシャと写真を撮りました。ToyDigiはiPhoneで撮った写真にフィルタ処理を施して、トイカメラ風に画像を加工するアプリケーションです。Mac OS Xなどでも同様のツールはあるのです
デベロッパー ガイド - Google App Engine - Google Code
ãããããã¼ ã¬ã¤ã Google App Engine ã¸ãããããã®ãããããã¼ ã¬ã¤ãã¯ãGoogle æè¡ã使ç¨ãã¦æ¡å¼µå¯è½ãª Web ã¢ããªã±ã¼ã·ã§ã³ãä½æããããã«å¿ è¦ãªãã¹ã¦ã®ç¥èãç¶²ç¾ ãã¦ãã¾ãã ãã®ã¬ã¤ãã¯ã次ã®ã»ã¯ã·ã§ã³ã§æ§æããã¦ãã¾ãã æ¦è¦ Google App Engine ã«ã¤ãã¦ãApp Engine ã®æ©è½ã¨ãµã¼ãã
Google App EngineはAjaxへのハードルを下げるか？ - ＠IT
ハイライト1・Ajaxに挑戦するハードルを下げるか？ Google App Engine Google App Engine - Google Google App Engine SDKを使ってみた - 秋元@サイボウズラボ・プログラマー・ブログ Google App Engineの別の意味 - 秋元@サイボウズラボ・プログラマー・ブログ 【詳報】「Google App Engine」ってなんだ？ - ＠IT NewsInsight Google App Engine で Tropy っぽいやつ作ってみた - IT戦記 Google App EngineとAmazon EC2は世界に新しい革命をもたらすか - shi3zの日記 Google App EngineはGoogleの新しいサービスです。Pythonでプログラミングできるサーバ環境が無料で使用できます。このような環境は、Ajaxに
Python の嵌りどころ - Djangoへの片思い日記
Google のおかげで一気に Python の人気がでてきそうですね！ Python は教育言語なんて側面もあるので、言語仕様も小さくて覚えやすいんだけど、 少し一般的でなくて嵌ることもあります。 折角なので僕が Python をやって嵌ったところを書いてみます。 switch 文は無い 無いです。 default が有る時点で邪悪だって誰かが言ってました。 substring は文字列に配列としてアクセスすればOK Java や js の substring、Perl の sbstr みたいなの >>> 'hogehoge'[5] 'o' >>> 'hogehoge'[5:7] 'og' >>> 'hogehoge'[5:] 'oge' >>> 'hogehoge'[:5] 'hogeh' >>> ちなみに一文字でも文字列なのでこんな事も出来ます。 >>> 'hogehoge'[5][
Google App Engineを使ってみた
Google App Engine(書きにくい。GAEとか略すのかなと予想)のページで、使える状態になっていたのでボタンを押して利用開始。 アプリは3つまで作らせてくれるということなので、まず Application名 […] Google App Engine(書きにくい。GAEとか略すのかなと予想)のページで、使える状態になっていたのでボタンを押して利用開始。 アプリは3つまで作らせてくれるということなので、まず Application名 “akky” を確保。 これで、http://akky.appspot.com/ が使えるようになる。(Google Appsのように、独自ドメインへのマップもできる予定) まずはローカルでちゃんと動くPythonアプリを作る、ということで、さきほどインストールしたSDK上で作業。 C:> cd “Program FilesGooglegoogle_
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Wake a sleeping Mac from the network - Mac OS X Hints