ユニコードで文字数を数える方法 (1/2)
ユニコードでは複数の絵文字を結合させて 別の絵文字を表現することもある Unicodeが一般的になって、日本語を含めて、さまざまな言語の文字を自由に使えるようになったが、「文字」を取り出す、あるいは数えるのが面倒になったのも確かだ。というのも、1つの文字が必ずしも1つのコードポイントで表現されるとは限らないからだ。 たとえば絵文字では、複数の絵文字をゼロ幅接合子（Zero Width Joiner：ZWJ、U+200D）で結合することで、別の絵文字を表現することがある。たとえば、「🐦 鳥(bird)」（U+1F426）と「🔥 火」（U+1F525）をゼロ幅接合子でつなげたものは、「🐦🔥フェニックス」（Unicode Emoji 15.1で定義）の絵文字になる。 コードだと「U+1F426」「U+200D」「U+1F525」なのだが、表示上は1つの文字に見える。なお、こうした組み合
Ruff 0.0.264が片仮名の`ノ`を"ambiguous unicode character"と判断する理由について - Qiita
バージョン: 1.77.3 コミット: 704ed70d4fd1c6bd6342c436f1ede30d1cff4710 日付: 2023-04-12T09:16:52.732Z Electron: 19.1.11 Chromium: 102.0.5005.196 Node.js: 16.14.2 V8: 10.2.154.26-electron.0 OS: Linux x64 5.15.0-70-generic Sandboxed: No # confusables.txt # Date: 2022-08-26, 16:49:08 GMT # © 2022 Unicode®, Inc. # Unicode and the Unicode Logo are registered trademarks of Unicode, Inc. in the U.S. and other countr
私の名前ってUnicodeでどう表すの？~異体字セレクタとの出会い~ - NRIネットコムBlog
本記事は 【Advent Calendar 2023】 17日目の記事です。 🎄 16日目 ▶▶ 本記事 ▶▶ 18日目 🎅 こんにちは。 2年目の草野です。年末が近づいてきましたね。 今回はAdvent Calendarの執筆に参加ということで、2023年の業務の中で印象深かったUnicodeについて少しお話したいと思います。 そもそもUnicodeとは サロゲートペア文字 突然ですが…… 異体字セレクタとの出会い 異体字セレクタって？ 全く同じ意味を持つ文字、異体字 異体字セレクタの誕生 具体例 結局私の名字はどう書くの？ おわりに そもそもUnicodeとは みなさんご存じの通り、Unicodeは文字を表すための国際的な標準規格の1つです。 一般的には [U+91CE] のように、16進数で表記されます。 常用文字は [U+0000] ～ [U+FFFF] の16進数4文字＝2バ
2022/02/03 今回の気になった bugs.ruby のチケット - Secret Garden(Instrumental)
今週は String 周りでメソッドを追加するチケットの話などがありました。 前回のまとめ [Feature #18564] Add Exception#detailed_message [Feature #18438] Add Exception#additional_message to show additional error information で議論した結果をまとめたチケット エラー出力の内容を Exception#message ではなくて Exception#detailed_message を使用するようになる これによりエラー出力の内容をException#detailed_message で制御できるようになる class MyClass < StandardError def message = "my error!" def detailed_message(
漢字「团」の部首・画数・読み方など
※補足 この字は環境依存文字のため、ご利用の環境（パソコン・スマートフォン・ブラウザなど）によって、表示される字形が異なる場合があります。 字形によって差が生じる可能性のある情報（部首や画数）につきましては、書体欄の明朝体字形に基づいて表示しています。
楔形文字(くさび形文字) Cuneiformの文字一覧 - 1 Unicode U+12000～U+123FF(73729文字目～74752文字目) (ユニコード) 0g0.org
楔形文字(くさび形文字) Cuneiformの文字一覧 - 1 Unicode U+12000～U+123FF(73729文字目～74752文字目)
コモンエイジ：文字を決めるのは誰?「ガラパゴスの元凶」戸籍70万字が阻むDX | 毎日新聞
行政機関が管理する膨大な数の「文字」がデジタル改革を阻んでいる。字形がわずかに異なる文字も含め、戸籍だけで約70万字。岸田文雄政権は自治体の情報システムを効率化するため、約7万字に絞り込む計画だ。だが、人によっては名前の漢字が変わる可能性があり、慎重論もくすぶる。文字を決めるのは誰なのか――。 スマホに表示できない 「スマートフォンやパソコンで表示できない文字がある。魑魅魍魎（ちみもうりょう）とした世界だ」 デジタル庁幹部は、戸籍などで使われてきた文字の特異性をそう表現し、「自治体システムを複雑にし、ガラパゴス化させた元凶だ」と言い切った。 政府は、自治体ごとに仕様がばらばらな戸籍や住民基本台帳、国民年金など20業務の情報システムを2025年度末までに標準化する方針を掲げている。 人口減少で公務員の確保が難しくなる中、システムの効率的な運用で行政サービスの質を維持する目的だ。多すぎる文字を
UAX #29: Unicode Text Segmentation
Summary This annex describes guidelines for determining default segmentation boundaries between certain significant text elements: grapheme clusters (“user-perceived characters”), words, and sentences. For line boundaries, see [UAX14] . Status This document has been reviewed by Unicode members and other interested parties, and has been approved for publication by the Unicode Consortium. This is a
Mastodonの文字数測定は何を使っているか
def countable_length(str) str.mb_chars.grapheme_length end grapheme_lengthを使っている grapheme_length Returns the number of grapheme clusters in the string. https://api.rubyonrails.org/v6.0.2.2/classes/ActiveSupport/Multibyte/Chars.html#method-i-grapheme_length というわけで書記素クラスタを考慮した感じでやっているらしい Web側 stringz というライブラリを使っている stringz Javascript has a serious problem with unicode. Even ES6 can’t solve the probl
『Macで日本語ファイルをgitにコミットするのやめて><』とりあずMacとLinuxで互換性のない日本語ファイルを探すスクリプト書いた - Qiita
『Macで日本語ファイルをgitにコミットするのやめて><』とりあずMacとLinuxで互換性のない日本語ファイルを探すスクリプト書いたPythonPHPMacGitUnicode 最近携わっているPHPのプロジェクトでは、プログラムを日本語で書いています。クラス名・変数名はもちろんファイル名も日本語です。(なぜ日本語で書くことにしたのか、そこらへんのモチベーションについては別記事にまとめたい) このプロジェクトは開発環境がMac、プロダクション環境がLinuxなのですが、日本語ファイル名のPHPがオートロードされないなどの問題が発生しました。しらべたところ、MacのファイルシステムとLinuxのファイルシステムでUnicodeの規格が違うのが原因でした。詳しくは、「紹介マニアどらふと版: Mac OS X におけるファイル名に関するメモ(NFC, NFD等)」の記事が参考になります。 簡
Unicodeのgrapheme cluster (書記素クラスタ) | hydroculのメモ
Unicodeのgrapheme cluster (書記素クラスタ) 2015/10/25 Unicodeテキストを1文字ずつ分割するアルゴリズムをUnicodeの仕様として定められており、grapheme cluster (書記素クラスタ)と呼ばれる。 普通はUnicodeのコードポイント1つずつ文字が割り当てられているので、ほとんどはコードポイント1つが1文字になるのだが、たまにコードポイント2つ以上で1文字になるものもあり、 1文字ずつテキストを分解するのは意外と複雑なルールになる。 Grapheme cluster について書かれている公式のドキュメントは以下にある。 Unicode® Standard Annex #29 UNICODE TEXT SEGMENTATION http://unicode.org/reports/tr29/ この記事は公式ドキュメントを読んで理解した
ZawgyiとUnicode: ミャンマーの文字の電子化について - にせねこメモ
まえがき ミャンマーでは公用語としてビルマ語が使われている。ビルマ語の表記にはビルマ文字を用いるのだが、このビルマ文字のインターネット上での使用は、混迷を極めていた。そしておそらく今もまだ…。なぜか？ それは、Unicodeという文字コードの標準がありながら、Zawgyiというものが広く使われていたためである。なぜそのようなものが登場し、普及することとなったのか、この記事で解説する。 目次 まえがき 目次 凡例 この記事で使う名称について ビルマ語表記 コードポイント ラテン文字表記について Zawgyiの概説と歴史 Zawgyiとは Zawgyiのダウンロード Zawgyi誕生・普及の経緯 複雑なビルマ文字 ビルマ文字とUnicode 回避策としてのビルマ文字フォントの登場 Zawgyiの普及 Zawgyiの実装 実装の方針 文字の並べ替えをせず、左から右に書く 文字の形のバリエーション
ISO/IEC 10646（≒Unicode）でなぜ「ゴミ文字」が増えていくのか?
小形克宏 @ogwata 日本の携帯絵文字を収録する国際会議に出席した話のつづき。この件は書こうか迷ったけど、書いておこう。ISO/IEC 10646（≒Unicode）で構造的に「ゴミ」文字が増えていく件。おかしな点があればぜひご指摘ください。 2010-04-25 23:46:39 小形克宏 @ogwata 一昨日のツィートで、WG 2会議は「対立を前提とした共同作業」だと書いた。自分が通したい主張を相手に呑ませるため、可能な限り妥協する。「ISO/IEC 10646のより良い改訂」という目的から、妥協は美徳とされる。互いに妥協しながら落し所を探る。これがWG 2会議の流儀だった。 2010-04-25 23:52:40
PHPカンファレンスの過去14+3回の登壇を振り返る - Qiita
PHP Advent Calendar 2023の18日目の記事です。 PHPカンファレンスに登壇した記録を書きたいと思います。数えてみますと、2009年から昨年（2022年）までのPHPカンファレンス14回と、北海道2回、関西1回の合計17回登壇したことになります。 最初の登壇は14年前ですので、私の考えも当時からは変化していますので、そのあたりも触れながら紹介していきたいと思います。 PHP カンファレンス 2009 最初の登壇は2009年のPHPカンファレンスでした。この年はビジネスデイとテックデイに分かれていまして、ビジネスデイで登壇依頼を頂きましたので、当時温めていた「ウェブサイトを発注する際のセキュリティ」についてお話しました。 スライドの中で「脅威分析やってもあまり意味ない」みたいな物騒な意見が書いてあります。当時はそのように考えていたわけですが、これは当時のサイトがECサイ
Unicode対応 JIS X 0213 文字コード一覧
Unicode、常用漢字、人名漢字対応 JIS X 0213 文字コード一覧 JIS X 0213 の区点番号、JISコード、シフトJISコード、EUCコード、Unicode(UTF-8, UTF-16)の文字コード一覧です。 文字コードとその文字を順に出力しているだけですので、表示される文字はフォントによって決まります。 漢字集合1面と2面のJISとEUCの文字コードは、同じとなっています。 そのため、JISでは1面と2面をSI/SOのエスケープシーケンスで切り替えて使用し、EUCでは2面の漢字の直前にシングルシフト3（SS3:0x8F）を付けた3バイトEUCとして使用します。 1面01区 非漢字 1面13区 非漢字（NEC特殊文字） 1面14区 第3水準漢字 1面16区 第1・第3水準漢字 1面48区 第2・第3水準漢字 2面01区 第4水準漢字 ※JIS欄は、JIS X 0208とJ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
FAQ - Character Properties, Case Mappings and Names
文字ときどきRuby / Character and Ruby (NSEG)
【資料１】地方公共団体情報システムにおける文字要件の運用に関する検討会資料
https://www.unicode.org/L2/L2022/22274-disruptive-changes.pdf
ITSCJの広場