Mac OS X の NFD 問題での対策諸々 - Qiita
おさらい。 ∥ Unicode正規化 - Wikipedia 正規化形式 NFC: Normalization Form Canonical Compression | 文字に何がくっついていようと、組み合わせて作られた文字であろうと、「一文字」は「一文字」じゃ。圧縮形式。Linux のファイルシステムや Windows の NTFS などが普通に使っている。 NFD: Normalization Form Canonical Decompression | 濁点・半濁点を、あるいはウムラウト等のダイアクリティカルマークを、本体の文字とは分離してエンコードした形式。OS X の HFS+ が、これを採用してくれちゃっている。 基本としては、OS X 上に置かれるファイルは NFD であってくれて、Linux や Windows 上にあるファイルは NFC であってくれると平和で助かる。 追
unicode ucs4 - Google 検索
C.6 Unicode(UCS4)コード系、Unicode(IVS)コード系の概要 - Fujitsu
Unicode, UCS-2/4, UTF-8/16/32についての整理 - デ-mk6
※注意：これは私が調べた結果をまとめたものなので、間違いがあれば指摘していただけるとありがたいです。 用語 ここで整理したいことについて話せるようにするための説明なので、正確ではないです（符号化文字集合とか符号点とか）。 文字集合 文字の集合 符号化文字集合 文字と負ではない整数（または整数列）の対応表。その整数が、コンピュータで扱うビットの並びそのものとは限らない。コンピュータでは、この整数を符号化方式によって変換したものを扱う。 符号点、符号位置、コードポイント 符号化文字集合で、文字に対応している整数（または整数列）のこと。「符号位置」はUnicodeでの呼び方。 符号化方式 符号点を、コンピュータで扱うビット列で表現するための変換方式。よく「エンコーディング」と呼ばれるものはこちら。符号化符号化うるさいので、ここでは「エンコーディング」ということにする。 ※「符号化文字集合」と「符
絵文字を支える技術の紹介 - Qiita
絵文字を扱う上で知っておくと良いかもしれないことをまとめてみました。 Ruiさんの記事を見て、「EmojiはSurrogate Pair以外にも、色々とおもしろい技術があるんですよ〜」思って書いてみました。 なお、書いた人はAndroidの人間なので、特に表記していない場合は主にAndroid上での動作のことを書いてます。 またQiita初めてなので読みにくい部分等がありましてもご容赦ください。 サロゲートペア(Surrogate Pairs) このエントリーを書くきっかけにもなったサロゲートペア。なぜこれが導入されたかの経緯は、Ruiさんのブログエントリーに譲るとして、技術的な解説をします。 サロゲートペアは、U+0000..U+FFFFに収まりきらなかった範囲のUnicodeコードポイント(U+10000..U+10FFFF)を、なんとか16bitでエンコードしようとして導入されました
なぜ、PHPのmbstring.func_overloadをdeprecatedにするのに5年かかったのか? - 慢心、環境の違い
なぜ、PHPのmbstring.func_overloadをdeprecatedにするのに5年かかったのか? - 慢心、環境の違い
C言語 Unicode - Qiita
個人的にC言語でUnicodeを扱う機会があったので調べた。体系的に説明している記事が見当たらないのでまとめておく。 Unicode とは WikipediaのUnicodeから引用する。 Unicode は世界で使われる全ての文字を共通の文字集合にて利用できるようにしようという考えで作られ、Unix、Windows、Mac OS X、Plan 9[2]、Javaなどで利用されている。 文字コードと文字集合と文字エンコーディング 「文字コード」と「文字集合」と「文字エンコーディング」は異なる概念である。混同していると検索の際に適切な情報に辿りつけない。逆に、この区別がわかっていればコードを書く際に悩むことはない。私は最初、自分で混同していたことにすら気付かなかった。 「文字集合」とは、その名の通り文字の集合だ。アルファベットやカタカナ、漢字などを含む。具体的には、各文字(図形)に対して番号
Unicode 圧縮を実装した - y2q_actionman’s ゴミクズチラ裏
概要 Standard Compression Scheme for Unicode (UTS #6: Compression Scheme for Unicode) を Common Lisp で実装しました。 github.com ここに至った経緯は以下のようになってます。 仕事で使えそうかなと思って調べた。でも使わなかった。 検索する限りだと既存の実装もなさそう *1なので、実装してみた。 実装は簡単かと思ってたら、結構時間がかかってしまった。 ここからは、実装して得られた知見などを適当にメモしていきます。 性能考察 圧縮率 公式にある例 について、ほとんど同等の圧縮率を達成しています。 ドイツ語 :: 同じ圧縮結果。 ロシア語 :: 同じ圧縮結果。 日本語 :: 圧縮結果は同じ長さになる。しかし、前半で例より1バイト長くなってしまっているが、後半で例より1バイト短く圧縮できているの
Unicode―文字コード入門―
Unicodeとは 多くの国でコンピュータが利用されるようになってきて、文字を扱うための仕組みである文字コードも、その国の数だけ増えていく状態であり、情報交換のために様々な不都合が生ずるようになってきました。また、企業の側でも各国個別の言語に合わせたソフトウェアを開発するためには膨大なコストが必要なため、これを解消する手段が求められるようになってきたのです。 そこでこの問題を解消すべく、IBM、Microsoft、Apple等が加盟（他のメンバーについてはこちらを参照）するNGOであるUnicodeコンソーシアムが中心となって、全ての文字を16ビット（65536文字）に収録してしまおうという、野心的な多重言語文字セット規格の制定を企図していました。またそれとは別に、国際標準化機構（ISO）が、世界中の主要な文字を一括して扱う多重言語文字セット規格を開発していました。国際規格が複数制定される
エクリチュールの夢魔──漢字という（ス）クリプト | 田中純
エクリチュールの夢魔──漢字という（ス）クリプト | 田中純 The Nightmare of Writing: The (S)crypts of Chinese Characters | Tanaka Jun 1 夢のなかのシナ インターネットを通じた情報交換の増大を背景として、文字コードの国際的な統一化が進行している。この標準化は国際電気標準会議（IEC）、国際標準化機構（ISO）、および国際電気通信連合（ITU）の三機関の協力によって進められており、一九九三年には〈国際符号化文字集合（UCS）〉の一部として、標準規格ISO/IEC10646が制定された。この規格には、アメリカ合衆国のマイクロソフト社やアップル社など、コンピュータ業界を中心として設立されたユニコード・コンソーシアムの作成した国際文字コード（ユニコード）が採用されている。ラテン文字、キリル文字、アラビア文字、インド文字、
unicodeは16bitという神話 : セマンティックウェブ・ダイアリー
unicode は 16bit という誤解が未だに根強くあるようだ。「ユニコード戦記」でも小林龍生氏が「ユニコードの16ビット固定長神話」と一項をあげて説明しているのに、ＩＴ用語辞典は非常に誤解を招く書き方をしているし、Wikipedaでは「サロゲートペア（代用対）の方式は16ビット固定長を志向したUTF-16との互換性維持のために設けられた拡張であり、UTF-8やUTF-32では利用できない」とまで書いている。根強い神話の一つには確かに歴史的経緯では初期にそういう時があったということもあるが、もう一つにはユニコードとはUTF-8, UTF-16, UTF-32のことという、誤解というか区別が曖昧にしか理解していない、ということがあるように思われる。 ユニコードとは、「2バイトで表せる範囲（65,536）のコードの集まりを面（Plane）と呼んでいて、0から16までの全部で17の面から構成
Character detection in a text file in Python using the Universal Encoding Detector (chardet)
I am trying to use the Universal Encoding Detector (chardet) in Python to detect the most probable character encoding in a text file ('infile') and use that in further processing. While chardet is designed primarily for detecting the character encoding of webpages, I have found an example of it being used on individual text files. However, I cannot work out how to tell the script to set the most l
056：文字列から半角、全角空白を取り除く
056：文字列から半角、全角空白を取り除く 文字列先頭末尾の両方の空白類文字を除去するにはstripメソッドを用います。先頭だけならlstrip、末尾だけならrstripとなります。空白類文字とは、半角空白とか、タブとか改行などのことです。取り除く文字を指定することもできます。 >>> txt='\t Milk&Milk \r\n' >>> txt.strip() 'Milk&Milk' >>> txt.lstrip() 'Milk&Milk \r\n' >>> txt.rstrip() '\t Milk&Milk' カンマ区切りのテキストファイルをTAB区切りに変更するpythonプログラム 日本語を使う場合は、JapaneseCodecをインストールしてあること。 import string f = open("C:/Documents and Settings/Administrat
Pythonで unicodedata.normalize を使って全角半角を正規化する方法
（この記事は 2008年03月14日に別のブログに投稿した記事を移動・編集したものです。） インターネット上の日本語を扱っていると、全角半角が統一されていない事による表記揺れをなんとかしたい場面に出くわします。半角で書かれた iPod も、全角で書かれたｉＰｏｄも同じものとして扱いたいときや、あるいは単に見た目がきれいになるように、英数字は半角に、カタカナは全角にそろえたい、という場合です。 Python では setomitsさんによる zenhan.py を使うと、文字種ごとに全角半角を選択して変換することができ、除外文字も設定できるので便利です。ただ、そこまで柔軟でなくても良く、単に表記揺れがなくなれば良い、という場合も多いかと思います。その場合はPythonの標準ライブラリに含まれる unicodedata モジュールの normalize 関数を使うと便利です。 >>> impo
python 譁 ｭ励さ繝ｼ繝 謗ｨ螳 繝輔ぃ繧､繝ｫ 隱ｭ繧 - Google 検索
2016/11/04 · そこで今回は、いくつか文字化け変換サイトを紹介します。用途ごとに使い分けることが出来るので、それぞれの用途にあったものを試してみてください。
python 文字コード ファイル 読む - Google 検索
2024/03/01 · 例えば、テキストファイルを読み込む際に、それがシフトJISでエンコードされていることを明示するには次のようにする。 with open('sjis.txt', encoding=' ...
CA雑記TYO |pythonで半角英数字から全角英数字へ変換
pythonで全角英数字を半角英数字に変換する場合は import unicodedata をして normalize を使えばシンプルに出来るけど、逆に半角英数字を全角英数字にする場合は abnormalize というのが無いので、どうやるのがシンプルなんだろうと調べてみたら次のような方法が良さげでした。 s = u'ＡＢＣabc１２３123！＠＃＄!@#$' t = dict((0x0020 + ch, 0xff00 + ch) for ch in range(0x5f)) t[0x0020] = 0x3000 print s.translate(t) sには変換したいユニコード文字列が入っていて、tの辞書で置換するんですが、全角スペースは0xff00では無いので例外処理しないといけません。 s = u'ＡＢＣabc１２３123！＠＃＄!@#$' t = dict((0xff00 +
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub & BitBucket HTML Preview
Google
atpages.jp - このウェブサイトは販売用です！ - atpages リソースおよび情報
Boli Wiki - ～試練はつづくよどこまでも～ 逆引きPythonメモ/文字コードを推定する