JavaScript における文字コードと「文字数」の数え方 | blog.jxck.io
Intro textarea などに入力された文字数を、 JS で数えたい場合がある。 ここで .length を数えるだけではダメな理由は、文字コードや JS の内部表現の話を理解する必要がある。 多言語や絵文字対応なども踏まえた上で、どう処理するべきなのか。 それ自体は枯れた話題ではあるが、近年 ECMAScript に追加された機能などを交えて解説する。 なお、文字コードの仕組みを詳解すること自体が目的では無いため、 BOM, UCS-2, Endian, 歴史的経緯など、この手の話題につき物な話の一部は省くこととする。 1 文字とは何か Unicode は全ての文字に ID を振ることを目的としている。 例えば 😭 (loudly crying face) なら 0x1F62D だ。 1 つの文字に 1 つの ID が割り当てられているのだから、文字の数を数える場合は、この ID
橋本商会 » UTF-8-MACをUTF-8に変換する
Twitterをterminalで見ていると、ごく稀に変な文字が入っているtweetがあって、それがUTF-8-MACだとgeta6に教わった。 Macだと「ぱぴぷぺぽ」など一部の日本語をファイル名にすると変な事が起こるのだが、それの原因がUTF-8-MACらしい。 そういう文字をDBに保存するとのちのち良くないので、Rubyで変換した。 Iconv使ったら簡単だった。 ■例 touch ぱぴぷぺぽ echo は<309a>ひ<309a>ふ<309a>へ<309a>ほ<309a> となる。 ただし、TerminalやiTerm2で「ぱぴぷぺぽ」をechoやlsしてもふつうに「ぱぴぷぺぽ」になってしまって、Rubyに渡して変換を試せない。 GNU Screen上でechoやlsするとUTF-8-MACの文字を出力できる。 ■Rubyで変換 インストール brew install iconv
UTF-8 の文字列の長さを正確に求めるためには Normalize しましょう
Twitterにメッセージを送信する際に、クライアント側でメッセージの長さを判定して画面に表示したいというような要件があると思います。当然、このような場合には入力されたメッセージを取ってきてその長さを求めてやれば良いのですが、どうやら UTF-8 などのマルチバイトな文字コードを使っていると文字列の長さを正確に求めるのが大変なようです。 ■何がどう大変なのか 図を書いてみました。「文」が文字数、「ｂ」がバイト数を表しています。 Objective-C の場合は、「文」が ``[NSString length]`` を、「ｂ」が [NSString lengthOfBytesUsingEncoding:NSUTF8StringEncoding] を表します。ほかの言語の場合もそれぞれ相当するメソッドまたは関数が用意されていると思います。 上のケースが一般的な UTF-8 文字列です。この場合
７.２ ASCII の NUL と DEL の本来の意味 - 文字コードに関する覚え書きと実験
文字コードについて調べたことや実験したこと， テストプログラム，データファイルなどを随時掲載する予定です． ただし筆者の理解不足や誤解により誤りがあるかもしれませんので， ご利用は自己責任で． このページの主な更新は Blog でお知らせします． 表示確認ブラウザ：FireFox 22.0，IE8． ０．目次 シフトJIS Shift_JIS と Windows-31J (CP932) の違い シフトJIS ２バイト文字の判定 謎の検索ワード集 (シフトJIS編) 「Shift_JIS(SJIS，Windows-31J，CP932) ３バイト文字」 「Shift_JIS(SJIS，Windows-31J，CP932) サロゲート(ペア)」 「UTF-8 4バイト文字 Shift_JIS(SJIS，Windows-31J，CP932) 変換」 「Unicode(UTF-8，UTF-16) か
UTF-8 ‐ 通信用語の基礎知識
Unicodeを1〜4オクテットに、または、ISO/IEC 10646を1〜6オクテットの不定長に変換する。 前者はRFC 3629で標準化されており、後者はこのRFCによって破棄された古いRFCであるRFC 2279にて仕様が規定されている。 このように、RFC 2279では1〜6オクテットまでの規定があったが、RFC 3629ではUnicode文字(U+0000〜U+10FFFF)だけの対応となり、1〜4オクテットの範囲だけしか規定されなくなった。 Javaでは実行ファイル(Javaバイトコードと呼ばれる)内部で実際に用いられている文字コードの符号化方法であり、Java以外でもInternet ExplorerやMicrosoft Wordなどで広く対応している。 ASCIIと互換性があり、かつ世界中の言語を容易に扱えるということで徐々に人気が高まった。 この方法を用いるとASCII文
shp2pgsqlで"シフトJIS"からの文字コード変換がうまくいかなかったのは仕方ない - ここのことはなかったことにするかも
「おかしい」と首をひねっていました。 属性に "Shift JIS" が入っているシェープ(正確にはdbf)を、文字コードをUTF-8にしたPostgreSQL/PostGISのダンプ形式に変換していました。 shp2pgsql で -W オプションで文字コードを指定できるのは id:yellow_73:20080121#p1 で書きました。ですが、-W sjis でやってると、エラーが出るファイルもあり、成功したと思ったら途中で切れてるダンプが現れる始末。 で、調べたところ、驚愕というより、かなり恥ずかしいことが分かりました。 Shift JIS と CP932 は違うとのこと。 独自拡張しているところがあるのですから、エイリアスではないということに気付かなければいけないはずでした。 で、-W cp932 オプションを付けてやれば、さっきまでの問題は嘘のように引きました。
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Visual C++でShift-JISをUTF-8に変換するコード - 今日もスミマセン。
文字コードUTF-8の多言語を含むテキストデータの中に日本語を含むかどうかを調べる方法を探しております。…
https://tanaka.sakura.ad.jp/archives/001071.html
Loading...