UniView
How to Convert Text to Unicode Code Points How to Convert Text to Unicode Code Points The process for working with character encodings in Python, or converting text to Unicode code points at any point in time, can be incredibly confusing, complex, and convoluted – especially if you aren’t particularly familiar with the Unicode language to begin with. Thankfully though, there are a lot of tools (an
UNF : Unicode正規化ライブラリ - sileのブログ
UNFという名前*1で、C++でUnicode正規化を行うライブラリを実装 (ver 0.0.1)。 ついでに、それを利用したRuby拡張ライブラリも作成。 C++やRubyで使える、軽くて高速なUnicode正規化ライブラリは、一年以上前から欲しい(作りたい)と思っていたので、作り終えてみると少し人心地ついた感じがする。 特徴(?) NFD,NFC,NFKD,NFKC Unicode 5.2.0に準拠 まだバグが残っている可能性はあるが正規化テストはパスしているので、それほど致命的なものはないと思われる*2 UTF-8にのみ対応 中間的にUnicodeのコードポイントへの変換を経由せずに、UTF-8文字列を直接操作しているため その内他のエンコーディングにも対応するかもしれない 正規化に用いる変換テーブルおよび各種文字属性はDoubleArray(Trie)を使って保持 DoubleAr
漢字データベースプロジェクト
概要 『漢字データベースプロジェクト』は、Unicode / UCS (Universal Multiple-Octet Coded Character Sets) によって符号化された漢字（CJK統合漢字）の情報交換・検索照合・分析に役立つ様々なデータベースを整備することを目的に、2003年度に日本学術振興会科学研究費補助金・研究成果公開促進費（データベース）の援助を受けて開始しました。 各種漢字データファイルは、GitHubにて管理されており、GitHubサーバから取得することができます。 ライセンスについて 本プロジェクトのデータは、GPLライセンスおよびMITライセンスにて配布しています。 GPLライセンスによる配布 IDSデータ（ids.txt） 説文解字注（六書音均表等を含む）データ 宋本廣韻データ 學生字典データ MITライセンスによる配布 上記以外のすべてのデータ（以下を含
s.decode('utf8') よりも unicode(s, 'utf-8') の方が速い - methaneのブログ
http://groups.google.com/group/comp.lang.python/browse_thread/thread/314a3043ea63319f/ unicode vs s.decode unicodeはLOAD_GLOBALで、s.decodeはLOAD_ATTRでスタックに積まれる。で、LOAD_GLOBALの方が速い。 さらに言えば、何度もデコードを行うのであれば u = unicode のようにローカル変数にするとさらに速くなる。LOAD_ATTRやLOAD_GLOBALは最適化で消すことが出来ないので、明示的にローカル変数に束縛することはCPythonに限らず有効な手法だ。 'utf8' vs 'utf-8' 単なる1タイプの問題だけど、内部的には 'utf-8' が利用されており、 'utf8' を使うと 'utf-8' だと判断するのに1クッション必
Text Escaping and Unescaping in JavaScript(Unicode の文字列をエスケープする JavaScript)
Notes No data is sent to the server (i.e. everything is done in JavaScript). Conversion from Unicode to other encodings such as Shift_JIS can be slow first time as it needs to initialize internal conversion tables. Surrogate pairs in UTF-16 are supported. Try inserting \uD840\uDC0B in the second form. Three-byte characters in EUC-JP are not supported. Links JavaScript Unicode Charts Try GNU Libidn
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
[記]2010-3-1(月), [PC]Unicode正規化: Nyabooのあれこれ
Unicode table for you
