[B! charset] akiyanのブックマーク

JavaScript における文字コードと「文字数」の数え方 | blog.jxck.io

Intro textarea などに入力された文字数を、JS で数えたい場合がある。ここで .length を数えるだけではダメな理由は、文字コードや JS の内部表現の話を理解する必要がある。多言語や絵文字対応なども踏まえた上で、どう処理するべきなのか。それ自体は枯れた話題ではあるが、近年 ECMAScript に追加された機能などを交えて解説する。なお、文字コードの仕組みを詳解すること自体が目的では無いため、BOM, UCS-2, Endian, 歴史的経緯など、この手の話題につき物な話の一部は省くこととする。 1 文字とは何か Unicode は全ての文字に ID を振ることを目的としている。例えば 😭 (loudly crying face) なら 0x1F62D だ。 1 つの文字に 1 つの ID が割り当てられているのだから、文字の数を数える場合は、この ID の

akiyan 2017/03/03

げっ、そうだったのか“length は文字数ではなく、単にこの UTF-16 配列の長さだ。だから、 1 文字に 16bit が 2 つ必要なサロゲートペアは length が 2 となってしまう。”

js
charset

リンク

Linux 上で Windows 向けの zip ファイルを作る - ~fumi/ChangeLog

目的: Linux 上で日本語ファイル名をもつファイルを Windows で文字化けしないかたちで zip にまとめる。方法: convmv でファイル名を cp932 に変換してから圧縮する。ディレクトリ foo 以下に日本語ファイル名を持つファイルがある場合は以下のとおり。 convmv --r --notest -f utf8 -t cp932 foo zip -r foo.zip foo （追記）以前は ruby zip を使って文字コードを変換しながら，圧縮・展開するスクリプトを書いてた． - ruby zip [2004-05-10-1]

akiyan 2012/12/04

リンク

Excel 2010 の CSV と文字エンコーディングの関係 - tekkの日記 C#,VB.NET

この記事は Hello Another World! さんのところで公開されている Excel 2003 の CSV と文字エンコーディングの関係 http://cs.albis.jp/blogs/ms-18e/archive/2006/08/07/Excel-2003-_6E30_-CSV-_6830_-_8765575BA830F330B330FC30C730A330F330B030_-_6E30A295C24F_.aspx Excel 2007 の CSV と文字エンコーディングの関係 http://cs.albis.jp/blogs/ms-18e/archive/2007/01/25/1273.aspx の改訂版です。改訂前の記事は Excel 2007 ベースですが、Excel 2010 について調べました。カンマ区切り、タブ区切りそれぞれのテキストファイルを Exce

akiyan 2012/12/04

リンク

javascript: escape(), encodeURI(), encodeURIComponent() 比較 (groundwalker.com)

« DoBeDo 2.5 | メイン | javascript で Query String » javascript: escape(), encodeURI(), encodeURIComponent() 比較 javascript の escape(), encodeURI(), encodeURIComponent() 関数群について、どの文字がエンコードされてどの文字がエンコードされないのか分かりにくいのでまとめておく。まずは、対象範囲 %20（半角スペース）〜%7E（チルダ~）元データ !"#$%&'()*+,-./ 0123456789 :;<=>?@ ABCDEFGHIJKLMNOPQRSTUVWXYZ [\]^_` abcdefghijklmnopqrstuvwxyz {|}~ escape() %20%21%22%23%24%25%26%27%28%29*+%2C-

akiyan 2011/09/19

twitter日本語URL問題にescapeが有効かもしれないのであとで試す。

リンク

絵文字が開いてしまった「パンドラの箱」第3回--Unicode提案の限界とメリット

前回までを振り返る--Unicodeコンソーシアムの影響力前回はどこまでお話ししましたっけ。世界中の文字の収録を目的とした文字コード規格、Unicodeは、米国のIT企業を中心に結成されたUnicodeコンソーシアムが制定するデファクト規格に過ぎないこと。しかし公的な国際機関が定めるデジュール規格ISO/IEC 10646と同期することで、WTO/TBT協定にもとづき世界中の国々に普及させられるメリットを得たこと。また、Unicodeコンソーシアム自体はオープンな組織だけれど、意志決定を行うUTC（Unicode Technical Committee/Unicode技術委員会）で一票を投じる権利を持つのは一握りの団体に限られること。そしてUTCはISO/IEC 10646のアメリカ・ナショナルボディであるL2委員会と合同でしか開催されておらず、同時にL2委員会とUnicodeコンソー