JavaScript における文字コードと「文字数」の数え方 | blog.jxck.io
Intro textarea などに入力された文字数を、 JS で数えたい場合がある。 ここで .length を数えるだけではダメな理由は、文字コードや JS の内部表現の話を理解する必要がある。 多言語や絵文字対応なども踏まえた上で、どう処理するべきなのか。 それ自体は枯れた話題ではあるが、近年 ECMAScript に追加された機能などを交えて解説する。 なお、文字コードの仕組みを詳解すること自体が目的では無いため、 BOM, UCS-2, Endian, 歴史的経緯など、この手の話題につき物な話の一部は省くこととする。 1 文字とは何か Unicode は全ての文字に ID を振ることを目的としている。 例えば 😭 (loudly crying face) なら 0x1F62D だ。 1 つの文字に 1 つの ID が割り当てられているのだから、文字の数を数える場合は、この ID
文字数のカウントはどれが正解なのか?
A. ユースケース次第でどう実装すべきかは変わる。Intl.Segmenter が万能というわけでもない。 (クソ最悪な小バズをかましてしまったので、贖罪も兼ねて記事を書きました) 「文字数を数える」のは難しい 「文字数を数える」実装は意外と難しいです。というのも、アルファベットや数字だけなら str.length でも正しく数えられますが、絵文字や異体字などが入った文字列は見た目どおりに数えられません。
ハイフンに似ている横棒を全て統一するᅳㅡ˗𐆑–᭸‒-─−▬𐄐—━‐‑ー﹣―ｰ﹘－⁃➖⁻！ - Qiita
はじめに これらの横棒、コンピュータにとっては全て違うのですが 見分けがつくでしょうか？ -˗ᅳ᭸‐‑‒–—―⁃⁻−▬─━➖ーㅡ﹘﹣－ｰ𐄐𐆑 郵便番号、住所、電話番号など、横棒が使われているデータを扱うとき、 人が入力したデータや購入したデータであると、同じ記号が使われていないことはよくあることです。 090-1234-5678 090᭸1234᭸5678 090‑1234‑5678 090−1234−5678 これらの電話番号の文字列も phone_no_list = ['090-1234-5678', '090᭸1234᭸5678', '090‑1234‑5678', '090−1234−5678'] # 文字をUnicodeコードポイントに変換 for n in phone_no_list: # 文字列の４番目の横棒の文字コードを見てみる print(n[3], ord(n[3]
長くて覚えやすくて複雑なパスワードとemojiの話
すみだセキュリティ勉強会2018その1での発表資料です。 http://ozuma.sakura.ne.jp/sumida/2018/03/22/38/
SJIS-macに変換したはずなのにSJIS-winになる - Qiita
$utf8Str = "❶❷❸❹❺"; $sjisStr = mb_convert_encoding($utf8Str, 'SJIS-mac'); echo(mb_detect_encoding($sjisStr, ['UTF-8','SJIS-mac', 'SJIS-win', 'SJIS'])); // SJIS-win ← SJIS-macに変換したはずなのに、何故かSJIS-winと判定されてしまいます。 そもそもSJIS-macってなんだよって話ですが、単にMacJapaneseのエイリアスです。 従ってMacJapaneseと書いても同じく、正しく誤判定されます。 そしてコメント欄にThis is a bug in PHP's mbstring extension『mbstringエクステンションのバグじゃよ』という人が現れています。 間違ったコードを書いたときに自分のせいでは
Unicodeで絶対知っておくべき5つの注意（翻訳）
概要 原著者の許諾を得て翻訳・公開いたします。 英語記事: Five things everyone should know about Unicode 原文公開日: 2017/11/07 著者: Gojko Adzic -- 多くの書籍を出版しています。 著書: https://gojko.net/books/ Human vs Computer Fifty Quick Ideas To Improve Your Tests Fifty Quick Ideas To Improve Your User Stories Impact Mapping Specification by Example Bridging the Communication Gap Test Driven .NET Development With FitNesse 画像はすべて元記事からの引用です。 2017/
浅川 倫之 - S-JISの全角スペースの犯人はマイクロソフトなんだよね。...
S-JISの全角スペースの犯人はマイクロソフトなんだよね。 日本語MS-DOSより先に、漢字CP/Mってのがあって SJISはもともとそいつが元祖、その時の仕様では、全角スペースは、あえて、半角２個2020だったんだよね。 マイクロソフトは、きちんとJIS->SJISの変換式に忠実に、...
「ユニコード」で予期せぬ目に遭った話 - moriyoshiの日記
自分の知らないCJK Ideographのバリエーションがまだあったことに戦慄している pic.twitter.com/kUlyRLDDTM— moriyoshit (@moriyoshit) March 9, 2017 などというツイートをしたところ、思ったより反響があったのでまとめておく。 上記ではあいまいに「バリエーション」などと書いたが、Unicodeとそれを扱う環境においては、バリエーションと一口に言っても次のような状況がある。 意味論的に等価な異なる字形の集合 同じ字形で異なるコードポイントの集合 aは結構なじみ深いと思う。 a-1. 異なるコードポイントにそれぞれ異なる字形が割り当てられているもの 例: 「東」(U+6771) ⇔「东」(U+4E1C) 「斉」(U+6589) ⇔「齊」(U+9F4A) 「高」(U+9AD8) ⇔「髙」(U+9AD9) a-2. 同じコードポイ
MySQL で utf8 と utf8mb4 の混在で起きること - tmtms のメモ
MySQL を UTF-8 で使おうと思ってハマりがちなのは charset utf8 を指定してしまうことです。 MySQL の UTF-8 には歴史的事情により utf8 と utf8mb4 の二つあります。 UTF-8 は1バイト〜4バイトで1文字が構成される文字コードですが、MySQL の utf8 は4バイト文字を扱うことができません。ハマりたくなければ utf8mb4 を使いましょう。 utf8 を使ってしまった場合に4バイト文字がどのように扱われるか、自分でもうろ覚えだったのでメモしておきます。 登録 接続が utf8mb4 でカラムが utf8mb4 あたりまえですが、そのまま登録されます。 mysql> insert into utf8mb4 (c) values ('美味しい🍣と🍺'); mysql> select * from utf8mb4; +--------
PHPのShift-JISでの文字化け - パソコンＱ＆Ａ
ドレミファソ 噂 詐欺 圭介 機構 蚕 十 申告 貼り付け 能力 表現 饅頭 はShift-JISのPHPで文字化けする可能性があるので注意！！ 文字コードで末尾が5Cになっている文字は文字化けを起こします。 Shift-JISでは5Cは『\』を表すためです。 これがエスケープ文字とされたりすることでエラーが起こる。 例えば以下の場合でも… <?echo "ソ";?> エラー Parse error: syntax error, unexpected $end in /public_html/test.php on line 1 ―ソ噂欺圭構蚕十申貼能表饅 よく使うもので上記のものがあります。 エラーが起こるケースと対処 ""の末に、この文字が来るとき 対処法（１） "ソ¥" 対処法（２） str_replace(" ","","ソ ") にするとか（ソの後に半角スペースが入っています）
サービス終了のお知らせ
平素より「PHPプロ！」をご愛顧いただき、誠にありがとうございます。 2006年より運営してまいりました「PHPプロ！」ですが、サービスの利用状況を鑑みまして、2018年9月25日（火曜日）をもちましてサービスを終了させていただくことになりました。 サービス終了に伴いまして、2018年8月28日（火曜日）を持ちまして、新規会員登録ならびにQ&A掲示板への新たな質問、回答の投稿を停止させていただきます。 なお、ご登録いただいた皆様の個人情報につきましては、サービス終了後、弊社が責任をもって消去いたします。 これまで多くの皆様にご利用をいただきまして、誠にありがとうございました。 サービス終了に伴い、皆様にはご不便をおかけいたしますこと、心よりお詫び申し上げます。 本件に関するお問い合わせはこちらよりお願いいたします。
PHPで日本語メールを送る – 応用編 (添付ファイル、HTMLメール) - EC studio 技術ブログ
PHPで日本語メールを送る - 基本編に引き続き、 今回は応用編をお送りします。 基本編で解説したmb_send_mailを使えば シンプルなメールを送るには十分な機能がありますが、 それ以上に複雑なこと、例えばHTMLメールや添付ファイルを 使ったメールにはmb_send_mailは使えません。 mail関数を使ってヘッダにガリガリとメールの仕様に そって書けば送れるのですが、それではあまりに 大変なので、ライブラリを使います。 ライブラリを使った日本語メール送信 PHPで複雑なメールを送るのに使えるスタンダードな ライブラリとしては、PEAR::MailとPHPMailerが有名です。 (ただし、両ライブラリとも日本語メールには対応していないので、 そのままでは文字化けしてしまいます) PEAR::MailはPHPの公式ライブラリのPEARで採用されていますし、 PHPMailerもX
ikenai moji / 使ってはいけない文字
このメモの内容もかなり古くなってしまいました。歴史的価値だけはまだあるかもしれないので、このまま置いておきます。 くれぐれも論争の根拠にこのメモを使わないようにお願いします。 電子メールやNetNewsでは、iso-2022-jp を使うことが多いのですが、 iso-2022-jp の範囲内では ASCII(またはJIS ローマ字)と JIS X 0208の 文字しか使えません。 市販されているパソコンが利用しているフォントでは、JIS X 0208準拠であっても、 JIS が定義していない部分に(勝手に)文字を追加している場合があります。 これらの文字が iso-2022-jp 環境や、JIS X 0208を想定している場合は 使ってはいけません。 このチェックシートはそれを分かりやすく表にしたものです。 ただし、ここでは、使ってはいけない文字は指摘してありますが、 それ以外の文字が必ず
MySQL 4.1 リファレンスマニュアル :: 9.11.4.1 cp932キャラクターセット
cp932 が必要な理由 MySQL では sjis 文字セットは IANA で定義される Shift_JIS 文字セットに対応しており、これらは JIS X0201 および JIS X0208 文字セットをサポートしています。 (http://www.iana.org/assignments/character-setsを参照してください。) ただし、記述用語としての「SHIFT JIS」の意味は非常にあいまいになっており、さまざまなベンダーが定義した Shift_JIS に対する拡張も含める場合もあります。 たとえば、日本語 Windows 環境で使用される「SHIFT JIS」は、Microsoft による Shift_JIS の拡張であり、正式な名称は Microsoft Windows Codepage : 932 または cp932 です。 Shift_JIS でサポートされる
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
[観] [Tips] UTF-8以外の文字コードを送信する必要のある検索窓をUTF-8環境で使う方法
携帯の絵文字変換,mb_convert_variables,mb_substitute_character - fxyoxbjisの日記
MySQLの文字化け対策 - ぎじゅっやさん
ＰＨＰの文字化けを本気で解決する - ぎじゅっやさん