Pythonで unicodedata.normalize を使って全角半角を正規化する方法
（この記事は 2008年03月14日に別のブログに投稿した記事を移動・編集したものです。） インターネット上の日本語を扱っていると、全角半角が統一されていない事による表記揺れをなんとかしたい場面に出くわします。半角で書かれた iPod も、全角で書かれたｉＰｏｄも同じものとして扱いたいときや、あるいは単に見た目がきれいになるように、英数字は半角に、カタカナは全角にそろえたい、という場合です。 Python では setomitsさんによる zenhan.py を使うと、文字種ごとに全角半角を選択して変換することができ、除外文字も設定できるので便利です。ただ、そこまで柔軟でなくても良く、単に表記揺れがなくなれば良い、という場合も多いかと思います。その場合はPythonの標準ライブラリに含まれる unicodedata モジュールの normalize 関数を使うと便利です。 >>> impo
match ではなくて search を使う時 - Python 入門
ここで説明するのは、正規表現を使うとき、いつも match 関数を使うのではなく、 search 関数などと使い分けないといけない場合があるので気をつけましょう、というお話です。 簡単なことですが、知らないとポカをしてしまうことがあるかもしれないので、動作確認かねて紹介しておきます。 基本的に、match関数は文字の先頭からマッチするかどうか試みます。オプションでマッチさせる開始場所を指定できますが、そうしたパラメータを渡さない限り先頭からマッチを試みます。 したがって、「Python での正規表現の基本的な書き方」で使ったコードで、 例えば "Hello world!" の前に何か文字があるような場合、、、 import re match = re.match(r'Hello (.*)', 'Spam... Hello world!') if match is None: print '
4.2.1 正規表現のシンタクス
正規表現 (すなわち RE) は、表現にマッチ (match) する文字列の集合を表し ています。このモジュールの関数を使えば、ある文字列が指定の正規表現にマッ チするか (または指定の正規表現がある文字列にマッチするか、つまりは同じ ことですが) を検査できます。 正規表現を連結すると新しい正規表現を作れます。A と B が ともに正規表現であれば AB も正規表現です。一般的に、文字列 p が A とマッチし、別の文字列 q が B とマッチすれば、文 字列 pqは AB にマッチします。ただし、この状況が成り立つのは、 A と B との間に境界条件がある場合や、番号付けされたグルー プ参照のような、優先度の低い演算をA や B が含まない場合 だけです。 かくして、ここで述べるような、より簡単でプリミティブな正規表現から、 複雑な正規表現を容易に構築できます。正規表現に関する理論と実
Python Packages Index: Home
Find, install and publish Python packages with the Python Package Index Search PyPI Search Or browse projects The Python Package Index (PyPI) is a repository of software for the Python programming language. PyPI helps you find and install software developed and shared by the Python community. Learn about installing packages. Package authors use PyPI to distribute their software. Learn how to packa
Python Programming Language – Official Website
# Python 3: Fibonacci series up to n >>> def fib(n): >>> a, b = 0, 1 >>> while a < n: >>> print(a, end=' ') >>> a, b = b, a+b >>> print() >>> fib(1000) 0 1 1 2 3 5 8 13 21 34 55 89 144 233 377 610 987 Functions Defined The core of extensible programming is defining functions. Python allows mandatory and optional arguments, keyword arguments, and even arbitrary argument lists. More about defining f
strippers.mixi
Verified details These details have been verified by PyPI Maintainers otsuka Unverified details These details have not been verified by PyPI Project links Homepage View statistics for this project via Libraries.io, or by using our public dataset on Google BigQuery Meta License: GNU Library or Lesser General Public License (LGPL) (LGPL) Author: Tomohiro Otsuka Tags mixi, oauth 概要 mixi Graph API を P
逆引きPython/正規表現 - 鯨飲馬食 @ wiki
match()やsearch()、split()、sub()などは下のように正規表現オブジェクトをコンパイルする方法とそのまま用いる方法があります。 >>> import re >>> re.compile("a").match("abcdef") <_sre.SRE_Match object at 0xb7c05720> >>> re.match("a","abcdef") <_sre.SRE_Match object at 0xb7c05758>
Pythonで正規表現による文字列処理(検索・置換・分割)を行う - 試験運用中なLinux備忘録・旧記事
正規表現操作を行う「re」モジュールを使用すると、文字列の高度な検索・置換・分割処理が行える。 文字列のパターンを独自のルールで記述して関数を呼ぶことで、対象文字列がこれに当てはまるかを確認することができるのだが、マッチした部分を取り出したり別の文字列に置き換えたりすることもできる。 また、パターンにマッチした部分を区切りにした分割も行える。 (2014/10/4)リンク先修正やサンプルコードの修正を行った。 簡単な検索・置換・分割では使用しない 関数を使用した例 パターンのコンパイルを使用する 簡単な検索・置換・分割では使用しない決まった文字列で検索・置換・分割を行う場合、高速な文字列メソッドを使用することを推奨。本当に正規表現を使用する必要があるのかを判断しないと、無駄に処理が遅くなってしまうかもしれない。 関数を使用した例re.sub()で置換を行い、re.search()やre.m
NLTK :: Natural Language Toolkit
Natural Language Toolkit¶ NLTK is a leading platform for building Python programs to work with human language data. It provides easy-to-use interfaces to over 50 corpora and lexical resources such as WordNet, along with a suite of text processing libraries for classification, tokenization, stemming, tagging, parsing, and semantic reasoning, wrappers for industrial-strength NLP libraries, and an ac
PyOpenCLで手軽にOpenCLを組む - 0xfeeb - endless loop
OpenCLのコードを書こうとすると、ホストコードとカーネルコードの両方を書いてコンパイルして、となかなか大変だったりする。もともとカーネルコードは実行時にコンパイルできる仕様なので、スクリプト言語をとても相性が良いのではないかと思う。それを実現したのがPyOpenCL。 PyOpenCL MacとLinuxに限っては、以下のように簡単にセットアップできる。 Mac OS X 10.6 MacPortsをインストールし、「sudo port -v selfupdate」しておく 「port search opencl」してみると、「py26-pyopencl」が見つかるのでインストール python2.6からpyopenclが使える これだけ MacではGPUとCPUがOpenCLの対象デバイスになるので、ほとんどのiMacやMacBookではデバイスがふたつ扱えるようになる。手元のiMa
GAE / py を始めよう for Flasher - 目次 - glasses factory
連載記事 GAE / py を始めよう for Flasher の目次と概要です。 GAE / py を始めよう for Flasher - 【1】Python 導入編 GAE / py の開発をするために、Python を導入し、GAE / py SDK をインストールしよう。というお話です。 GAE / py を始めよう for Flasher - 【2】開発環境編 よりスムーズに開発を進めるため、コード補完、デバッグ、リファクタリングなど、開発が有利になる機能を多数揃えた PyDev 環境を整えよう。というお話です。 GAE / py を始めよう for Flasher - 【3】フレームワーク編 Python をまだそんなに覚えてなくても、やりたい事をすぐ実現するためにフレームワークを導入しよう。というお話です。例として kay-framework を導入しています。
Python 2.6 multiprocessing package を触ってみた。 [GIL回避] | Tricorn Tech Labs
Tricorn Tech Labs はメールや LINE を用いた Web マーケティング SaaS に強みを持つトライコーン技術者によるブログです。 oktです。 普段、並列処理のプログラムを書くことは滅多にないんですが、今後のために GIL(Global Interpreter Lock) による影響を軽く確認しておこうと思ったのと、Python2.6 で実装されたmultiprocessing パッケージに触れておこうという事でネタにしてみました。 PythonやRubyでマルチスレッドな並列処理を書こうと思ったらGILの問題にぶち当たります。 最近のサーバでは2コア4コアが当たり前なのですが、GILの問題があると複数のCPUを有効利用できません。それを以下の言語とサンプルコードを使って状況確認します。 サンプルコードは、0から100,000,000までインクリメントするスレッドを4
![Python 2.6 multiprocessing package を触ってみた。 [GIL回避] | Tricorn Tech Labs](https://cdn-ak-scissors.b.st-hatena.com/image/square/b12490ed81c2d4a1ccaa0599e48ccb8570b58bef/height=288;version=1;width=512/https%3A%2F%2Flab.tricorn.co.jp%2Fwp-content%2Fuploads%2F2021%2F10%2Ftricorn_log_techlab_2021_v2-2.png)
Parallel Python - 最適化問題に対する超高速＆安定計算
Parallel Python を使うと Python から簡単にジョブ並列（タスク並列）を行うことができる。以下のような環境で使用することができる。Linux マシン(クラスタ)で試したみたところ、確かに簡単に出来た。 1: SMP(マルチコアも含む)のマシンで並列計算 2: クラスタ計算機上での並列計算 (1も含む) Parallel Python をダウンロードページから入手して、展開した後に python setup.py install とすればインストールは終わり(管理者権限のユーザで行う必要あり)。サンプルファイルとして配布されている sum_primes.py を用いてみよう。 1 の場合: python sum_primes.py [ncpus] とすれば良い。[ncpus] は同時に使用する CPU(コア) の数。 1CPU : 5.731s 2CPU : 3.012s
UnicodeDecodeError/UnicodeEncodeErrorに悩まないPython 2.x プログラミング - atsuoishimoto's diary
最近、ときどきTwitterで「Python」を検索して眺めていたのだが、Pythonの分かりにくいところとして「UnicodeDecodeErrorが出てうざい」という不満をよく見かけるようだ。 確かに、Pythonでは、数字やアルファベット以外のユニコード文字を使おうとすると、対応する処理を書かなければUnicodeEncodeErrorやUnicodeDecodeErrorが出てしまう。Python3では色々改善されているのだが、Python2では分かりにくい点も多い。 このUnicodeDecodeErrorを見て、「Pythonは日本語が苦手だ」と考えてしまう人も多いだろう。確かにそう思ってしまっても仕方がないが、それは正しくない。日本人だけでなく、アメリカ人でもフランス人でもドイツ人でも、ユニコードを使う時はみんな等しく平等にこのエラーを出しているのである。 もちろん、慣れてし
Python による日本語自然言語処理
はじめに この文書は、 Steven Bird, Ewan Klein, Edward Loper 著 萩原 正人、中山 敬広、水野 貴明 訳 『入門 自然言語処理』 O'Reilly Japan, 2010. の第12章「Python による日本語自然言語処理」を、原書 Natural Language Processing with Python と同じ Creative Commons Attribution Noncommercial No Derivative Works 3.0 US License の下で公開するものです。 原書では主に英語を対象とした自然言語処理を取り扱っています。内容や考え方の多くは言語に依存しないものではありますが、単語の分かち書きをしない点や統語構造等の違いから、日本語を対象とする場合、いくつか気をつけなければいけない点があります。日本語を扱う場合にも
Python初心者によるPythonのいいところ、はまりどころのまとめ - Webtech Walker
Python勉強し始めて一ヶ月くらいたったんで一度復習を兼ねてまとめてみようと思います。僕が今までPHPとかPerlとかJavaScriptを使っていて、Pythonはこうやるのかーとか、これは便利だなーと思ったところ、開発していてはまったところなどピックアップしてみました。 初めてのPythonを読んで初心者向け勉強会に参加した程度の知識です。とりあえず初めてのPythonがかなりいいのでこれ読むだけで大体基礎は習得できた気がします。基本的な文法の説明だけでなく、大事なことは何回も繰り返し書いてあったり、Pythonの思想などにも触れているのでなぜこういう実装になっているかということも理解できます。これオススメ。 尚、このエントリーではPythonのバージョンは2.5をベースにしてます（主にGoogleAppEngineで使ってるので）。間違えなどあったらツッコミお待ちしてます。 文法、
Pythonの勉強をまったく始められないあなたと私に送る8つのタスク
Google App EngineでのPythonの勉強と開発は進んでいますか？ GAEでPythonを始めるときに知りたい4つのまとめ これを書いた本人はというと…まったく進んでいません。 Learn Python The Hard Wayを少し読んだ程度です。 言い訳なんていくらでも出来ますね。 えーっと、仕事が忙しいから、仕事が忙しいから、そして仕事が忙しいから。 しっかり、仕事以外の勉強の時間を取ってやらないと、あっと言う間に置いてかれます。 そして、”新しいことを学ぶ”というのは日々のモチベーションに繋がりますから。 前置きはここまでにして、今日はタイトル通り、 Pythonの勉強をまったく始められないあなたと私に送る8つのタスク を紹介します。 もし、タイトルに期待して、”これさえやればPythonマスターになれる！”と思ってきた方にはごめんなさい。 99%は”Pyt
GAEでPythonを始めるときに知りたい4つのまとめ
if ( $blog == " Webエンジニアのためのライフハック " ) { print " 1-byte.jp "; } ホーム1-byte.jpとは 書いてるヒトは 最近、とても気になっていることがあります。 それが”Google App Engine + Python”です。 元々、Pythonには興味がありました。 オライリーのPython入門も読破しました。 10日でおぼえる Python 入門教室も5日まではやりました。 しかし、そこで終わりました…。 CakePHPという慣れ親しんだ言語とフレームワークがあったので、そちらに走ってしまいました。 ですが、私はPythonistaに憧れるPHPerです。 ここいらで一つ、重い腰を挙げてPythonの勉強を始めることにしました。 Pythonを勉強する一つの強い理由付けとして、”Google App Engine“の存
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
サービス終了のお知らせ
Python入門 ～Pythonのインストール方法やPythonを使ったプログラミングの方法について解説します～ | PythonWeb
