HOME > 電算 > Python と文字コード
HOME > 電算 > Python と文字コード Python と文字コード Python で行き当たりばったりに日本語処理をしてきたが、これではいかんと思っていくらかまとめてみた。（当然、このメモには間違いや誤解があろうと思う） 「python は『abc』を使うのが基本で『あいう』を使うのが例外だ」と考えると、「あいう」に対してできないことが多すぎて難しく見える。しかし、「『あいう』に対して使えるようなやり方なら『abc』にも問題なく使えて、ただ、『abc』には特権的に無作法な書き方が許されているのだ」と考えれば、ずっと簡単に理解できるように思う。 まとめ ユニコードは「文字コード」(バイト表現と文字の対応関係)ではない utf-8 は「文字コード」である Python の unicode 型は「文字コード」にとらわれない型で、CPU やメモリ上で用いられる Python の str
[Python][お勉強] Python入門(28) - apply関数
メモ代わり。てきとーに。 いや、ですからてきとーですって。 2年前ぐらいにPythonあたりでメールくれた方、ごめんなさい。メール紛失してしまい無視した形になってしまいました。。。 apply関数についてやる。 PythonではLispのようにapply関数がある。 プログラム実行時に関数の名前、引数が決まる場合にapply関数を使える。 apply関数の例 >>> def func(x,y,z): return x + y + z ... >>> apply(func, (2,3,4)) 9 >>> キーワード引数を渡す apply関数の第三引数を使用する。 >>> def aaa(a,b,c): return a + b + c ... >>> apply(aaa,(),{'c':1, 'b':2, 'a':1}) 4 >>> 第三引数にディクショナリの形にして渡せばキーワード引数とし
PythonでUNIXシグナルのハンドラを扱う(前半) - 試験運用中なLinux備忘録・旧記事
Pythonスクリプトの実行中にCtrl+Cを押すと Traceback (most recent call last): File "[スクリプトの場所]", line xxx, in <module> app.main() File "[スクリプトの場所]", line xxx, in main gtk.main() KeyboardInterruptのようにKeyboardInterrupt例外が発生してメッセージが表示され、PyGTKを用いたGUIアプリケーションでもこのようにメッセージが表示される。C言語やVala言語などでGTK+を用いたプログラムを作成した場合にはこのようにはならないが、PyGTKでこのメッセージが出るのが邪魔な場合、抑制することはできる。 PythonにおけるUNIXシグナルの処理 一般的に、GNU/Linux上のアプリケーションは、UNIXシグナルを受け取
はてなブックマーク記事のレコメンドシステムを作成 PythonによるはてなAPIの活用とRによるモデルベースレコメンド - データ分析がしたい
私は情報収集にはてなブックマークを多用しており、暇な時は結構な割合ではてなブックマークで記事を探してます。しかし、はてなブックマークは最新の記事を探すのは便利ですが、過去の記事を探すにはいまいち使えません。個人的には多少過去の記事でも自分が興味を持っている分野に関しては、レコメンドして欲しいと感じてます。 ありがたいことにはてなはAPIを公開しており、はてなブックマークの情報を比較的簡単に取得できます。そこでこのAPIを利用して自分に合った記事を見つけるようなレコメンド機能をRとPythonで作成してみたいと思います。 利用するデータは、はてなAPIを使って収集します。具体的には、はてなブックマークフィードを利用して自分のブックマークしているURLを取得し、そのURLをブックマークしているユーザをエントリー情報取得APIを用いて抽出し、そのユーザのブックマークしているURLを収集します。こ
10 分で学ぶ Python のチュートリアル
"Stavros' Stuff" というサイトに掲載されていた "Tutorial - Learn Python in 10 minutes" という記事の妙訳 翻訳です。これから Python をはじめたいという方向けです。ちょっと分かりやすいように ? 補足情報も付加しちゃってます。ついでに私が Python を書くときに意識していることも付加しちゃってます。付加情報が間違ってたらごめんなさい >< プロパティ Python は強い型付け (strongly typed language)、動的型付け (dynamically typed)、暗黙的型付け (implicitly typed)、大文字小文字を区別 (case sensitive)、オブジェクト指向 (object-oriented) です。 強い型付け言語の特徴: 処理や演算が間違った型の引数を受けとることが出来ない (
PythonとかScrapyとか使ってクローリングやスクレイピングするノウハウを公開してみる！ - orangain flavor
2016-12-09追記 「Pythonクローリング&スクレイピング」という本を書きました！ Pythonクローリング&スクレイピング -データ収集・解析のための実践開発ガイド- 作者: 加藤耕太出版社/メーカー: 技術評論社発売日: 2016/12/16メディア: 大型本この商品を含むブログを見る 2015年6月21日 追記： この記事のクローラーは動かなくなっているので、Scrapy 1.0について書いた新しい記事を参照してください。 2014年1月5日 16:10更新： デメリットを修正しました。 以下の記事が話題になっていたので、乗っかってPythonの話を書いてみたいと思います。 Rubyとか使ってクローリングやスクレイピングするノウハウを公開してみる！ - 病みつきエンジニアブログ 複数並行可能なRubyのクローラー、「cosmicrawler」を試してみた - プログラマにな
python自習テキスト [kirinwiki]
このコンテンツを更新しなくなって久しく、さらにレンタルサーバーのPHPもずっと古いバージョンを使うわけにいかず、従来のdocuwikiを使うのをやめました。全ての内容を静的なHTMLにするのが割と手間なため、手抜きとして、ここの表紙以外をPDFに直してしまいました。これで保存します。python2用なので利用価値もすでに少ないですけどね。 っていうか、実際は動物さんイラスト集サイト。pythonの話はオマケ。 スクリプトが書けると、多分どっかで何かの役に立ちます。決まりきった仕事をチマチマと手作業でやるような場面で、スクリプトを上手に書けると劇的に楽になったりすることもあります。筆者自身がそういう経験を持っているので、他にも同じようなことができる人が現れてほしい。こういった動機で、習得用のテキストをポチポチと書き続けています。 興味はある(or 必要に迫られている)んだけど、本当に何も知ら
Python とクロージャ - プログラマのネタ帳
[twitter:@kumagi] さんの というつぶやきの説明を書こうとしたら 140字じゃあどうしても収まらなかったのでエントリにしてみたり。 ちなみになんでこのような実装になっているのか、というのはわかりません。 間違ってたら突っ込んでね。 ネストした関数 まず、関数の中で関数を定義した場合。 >>> def outer(val): ... def inner(arg): ... return val + arg ... return inner ... >>> inner = outer(10) >>> inner(20) 30 outer の中で定義した inner は、定義時点での outer の環境を持っています。 私のクロージャに対する理解が正しければこれはクロージャです。 このように、外側の環境の変数を参照するということは問題なく行えます。 ネストした関数で外側の変数を書
How to Write Maintainable Code 日本語訳
以下の文章は、Bram Cohen による How to Write Maintainable Code の日本語訳である。 本翻訳文書については、福盛秀雄さんと竹中明夫さんから誤訳の訂正を頂きました。ありがとうございました。 ソフトウェア技術者は、自分が書くコードがどのようにあるべきか分からず悩んでいる。よく知られたエッセイ「悪い方がよい」（訳注：日本語訳）がその良い例である――どうして悪いほうがより良くなれるの？ やっぱり悪いほうが悪いんじゃないの？ さらにややこしいことに、「悪い方がよい」の話は、それが主張しようとしている内容とは正反対の議論の中で引き合いに出されることが多い。 問題は、みんながコードの「美しさ」を判断するのに非常に多様な、また往々にして相反する基準を採用していることだ。美的感覚よりも客観的な、コード品質に対する基準が明らかに必要である。 僕としては、メンテナンス性に
Dropboxは全部Pythonで信頼性の高いソフトウェアを作った（前編）～PyCon APAC 2013
Pythonユーザーが集まり、情報交換し、交流するためのカンファレンス「PyCon APAC 2013」が9月13日、14日に都内で開催されました。PyCon APACはこれまでシンガポールで開催されており、今回初めて日本で開催されました。 Pythonは日本ではあまり利用事例が多くありませんが、海外ではGoogleやDropboxなどで使われていることが知られ、人気のあるスクリプティング言語の1つです。Pycon APAC 2013の2日目の基調講演には、そのDropboxの3番目の社員であるRian Hunter氏が登壇、Dropboxの社内事例も交えてPythonの大規模開発について紹介しています。 基調講演の内容をダイジェストで紹介しましょう。 One Million Lines of Python このカンファレンスに呼んでいただけて大変光栄です。日本には初めて来ました。 僕が初
概要 — Python 3.4.1 ドキュメント
Python 3.13.5 documentation Welcome! This is the official documentation for Python 3.13.5. Documentation sections: What's new in Python 3.13? Or all "What's new" documents since Python 2.0 Tutorial Start here: a tour of Python's syntax and features Library reference Standard library and builtins Language reference Syntax and language elements Python setup and usage How to install, configure, and u
「バックエンドの経験はなかった」Instagram創業者は、どうやってシステムをスケールさせてきたか
昨日のPinterestの記事「Pinterestの急成長を支えてきたアーキテクチャとは？ Pythonで開発しAmazonクラウドで運用」に続いて、やはり写真を中心としたサービスで急成長してきたInstagramのスケーラビリティについて、まとめてみました。 InstagramもPinterestと同様に、基本はAmazonクラウド上でPythonとフレームワークのDjangoを使ったシステムを構築しています。興味深いのは、創業者の二人ともバックエンドの経験がないなかで試行錯誤をしてシステムをスケールさせてきた点です。 Instagramは先月、Facebookに買収されると発表されています。この先、Instagramのシステムはどう変わっていくのでしょうか。 Instagramのシステム構成 約半年前、昨年12月にInstagramのブログに投稿された記事「What Powers In
"sep".join()は気持ち悪くないよ！ - Pashango’s Blog
"sep".join(list) が気持ち悪い理由 そんなに Array.join がいいのか Pythonの','.join()がキモいと思ってた時代が僕にもありました Pythonの文字列連結（join）にまつわる議論 まとめと考察(2) "".join()が色んなところで話し合われているんですね。 眺めていると「気持ち悪い派」が多数派のようです、主な肯定派はid:methaneさんくらい？ みんな気持ち悪いと思うのかぁ・・・ 逆に私は「よく考えてあるなぁ」と感心したんですが・・・ 私も"".join([])を見たときは「？？？」と思いましたよ、だって今まで見てきた言語とは逆なんですから。 ずっと「なんでだろう・・・？」と思っていたんですが、ある時ひらめきました。 そうか！左辺と右辺の対応をわかりやすくするためだったのか！！ それに気づいた時はしびれましたね、同時期に勉強してたRuby
最速最強Webサーバーアーキテクチャ - Qiita
PyFes 2012.11 発表資料です。 システムコールに焦点を当てて、 meinheld のアーキテクチャを紹介します。 アーキテクチャを説明するために Pure Python でサンプル実装を書いていますが、ちゃんと動くし、HTTPリクエストのパースを端折っているので 10000req/sec 以上出ます。 イベントドリブンのコードでフローが判りにくい場合は python -mtrace -t --ignore-module socket webserver1.py などのようにトレースしながら実行するといいでしょう。 前提 今日は、シンプルなレスポンスを返すだけの条件でをひたすら req/sec を追求する話をします。 たとえば、 nginx の lua モジュールで "hello" と返すだけとかです。 静的ファイルを配信するサーバーとかだともっと別のことも考えないといけません。
第37回 「らじる☆らじる」再び | gihyo.jp
日中はまだまだ厳しい残暑が続き、行く夏を惜しむかのように蝉たちが頑張っているものの、朝晩はめっきりと涼しくなって秋の虫たちの合唱も聞こえるようになりました。熱帯夜が続く間は手を付ける気力が出なかった作業にも、少しずつ手を出せるようになってきました。 そのような作業の際の便利なBGMに、昨秋よりNHKがやっているネットラジオ「らじる☆らじる」があります。Linuxで「らじる☆らじる」を聞いたり録音したりする方法については、この連載でも以前取りあげたことがあります。その際は基本となるシェルスクリプトしか解説できませんでしたが、記事の中で紹介したPlamo Linuxのサイトではそれら録音用のシェルスクリプトを生成するためのPythonスクリプトも紹介しておきました。 手元では、このPythonスクリプトを使っていろいろな番組を録音して楽しんでいましたが、予約したい番組が増えるにつれ、スクリプト
Pythonリスト内包表記文法 低速マスター - When it’s ready.
リスト内包表記（LC）使った方が圧倒的にコードが読みやすく、短くなる。慣れてないという理由で使われてない気がするので今後の自分のためにも、メモを残す。 LCは基本的に、ListやHashを処理する際に使用される。例えば、規則性のある並びのListが欲しい時などに利用すると良い。 1, 基礎 リストの作成 forの前が処理、forからList名までがひとつのforの段落で前から評価される。 src_list = [1,2,3,4,5] print [x for x in src_list] # [1,2,3,4,5] リストの作成2 for部で取り出された要素が、その後ろif部で評価され真だったものだけが、初めのｘ＊２に渡され処理される（この場合は、２．４だけ） src_list = [1,2,3,4,5] print [x*2 for x in src_list if x % 2 == 0
ドキュメントを作りたくなってしまう魔法のツールSphinx
The document discusses the use of Sphinx for documentation generation in various programming environments, particularly with Python. It includes installation instructions, examples of usage, and different output formats like HTML, PDF, and ePub. Additionally, it mentions various Sphinx extensions and tools for enhanced functionality.
2.6に新搭載のmultiprocessingを見て俺のPythonがおっきした件 | TRIVIAL TECHNOLOGIES 4
みんなのIoT/みんなのPythonの著者。二子玉近く160平米の庭付き一戸建てに嫁/息子/娘/わんこと暮らしてます。月間1000万PV/150万UUのWebサービス運営中。 免責事項 プライバシーポリシー いやー，multiprocessingモジュールイイよ。パねえよ。要はプロセス間通信を行うときに便利なパッケージで，threadingと似たようなAPIなのでGILが回避できてマルチプロセッサとかマルチコアの性能を有効に使えてウハウハとか，リモートマシンにあるプロセスと通信したりオブジェクトをやりとりしたりできてウハウハとか，まあそういうモノです。これでおっきしない奴は技術者として大切な資質を失っていると思うよ。べつにおっきしなくてもいいんだけど，そういう奴とは一緒に仕事したくないよ。 ドキュメントのイントロダクションを超訳してみたです。 はじめに multiprocessingはth
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://oldriver.org/python/pep-0008j.html
複数の辞書のマージ方法いろいろ - Qiita
