タグ

文字列に関するanatofuzのブックマーク (4)

  • JavaScript における文字コードと「文字数」の数え方 | blog.jxck.io

    Intro textarea などに入力された文字数を、 JS で数えたい場合がある。 ここで .length を数えるだけではダメな理由は、文字コードや JS の内部表現の話を理解する必要がある。 多言語や絵文字対応なども踏まえた上で、どう処理するべきなのか。 それ自体は枯れた話題ではあるが、近年 ECMAScript に追加された機能などを交えて解説する。 なお、文字コードの仕組みを詳解すること自体が目的では無いため、 BOM, UCS-2, Endian, 歴史的経緯など、この手の話題につき物な話の一部は省くこととする。 1 文字とは何か Unicode は全ての文字に ID を振ることを目的としている。 例えば 😭 (loudly crying face) なら 0x1F62D だ。 1 つの文字に 1 つの ID が割り当てられているのだから、文字の数を数える場合は、この ID

    JavaScript における文字コードと「文字数」の数え方 | blog.jxck.io
  • Python 3 での文字列とバイト列の相互変換と16進数表示 - Qiita

    概要 REPL を通して文字列とバイト列の相互変換と16進数表記について調べたことをまとめました。16進数表記に関して従来の % の代わりに format や hex を使うことできます。レガシーエンコーディングを扱う場合、Unicode と1対1の関係にない文字が存在するので、不用意に変換すると元の文字に戻すことができないことがあります。 文字列とバイト列の相互変換 encode、decode メソッドを使います。 >>> 'abcd'.encode() b'abcd' >>> b'abcd'.decode() 'abcd'

    Python 3 での文字列とバイト列の相互変換と16進数表示 - Qiita
  • 文字列に日本語が含まれているかどうかを調べる - Perl入門ゼミ

    文字列に日語が含まれているかどうかを調べるには、正規表現を利用することができます。次のメタ文字を使って、漢字かひらがなかカタカナが含まれていることをチェックします。文字列は、内部文字列になっている必要があります。 文字種 メタ文字 漢字 \p{Han} ひらがな \p{Hiragana} カナカナ \p{Katakana} use strict; use warnings; use utf8; my $str = 'あいウエ三'; if ($str =~ /[\p{Han}\p{Hiragana}\p{Katakana}]/) { # 日語を含んでいる }

    文字列に日本語が含まれているかどうかを調べる - Perl入門ゼミ
  • Perlにおける日本語文字化け対策の私的まとめ - the code to rock

    環境づくり utf8プラグマ openプラグマ binmode関数 標準入出力もopenプラグマにまとめる まとめ 付録 Perlで日語のテキストを処理しているとけっこうな割合で文字化けにハマる。 近いことについては以前ここでみっちり書いたが、 note103.hateblo.jp どうもその後、自分はbinmode関数やopen関数、およびutf8やopenプラグマについて理解が怪しいな、と思ったのでいろいろ調べつつ現時点での認識をまとめてみる。 環境づくり まずはサンプルケース的に、文字化けしがちな状況を作る。 素材データとして、以下の内容をエンコーディングUTF-8のテキストファイルにsource.txtという名前で保存。 りんご hello 犬 1234 ネコ 次に、そのデータをopen関数で読み込み、split関数で切り刻んで標準出力および書き込み用ファイルresult.txt

    Perlにおける日本語文字化け対策の私的まとめ - the code to rock
  • 1