ZawgyiとUnicode: ミャンマーの文字の電子化について - にせねこメモ
まえがき ミャンマーでは公用語としてビルマ語が使われている。ビルマ語の表記にはビルマ文字を用いるのだが、このビルマ文字のインターネット上での使用は、混迷を極めていた。そしておそらく今もまだ…。なぜか？ それは、Unicodeという文字コードの標準がありながら、Zawgyiというものが広く使われていたためである。なぜそのようなものが登場し、普及することとなったのか、この記事で解説する。 目次 まえがき 目次 凡例 この記事で使う名称について ビルマ語表記 コードポイント ラテン文字表記について Zawgyiの概説と歴史 Zawgyiとは Zawgyiのダウンロード Zawgyi誕生・普及の経緯 複雑なビルマ文字 ビルマ文字とUnicode 回避策としてのビルマ文字フォントの登場 Zawgyiの普及 Zawgyiの実装 実装の方針 文字の並べ替えをせず、左から右に書く 文字の形のバリエーション
(プログラマのための) いまさら聞けない標準規格の話 第1回 文字コード概要編 | オブジェクトの広場
プログラマがシステム開発において共通で必要となる、技術と業務の狭間の共通知識を解説します。連載第1回は文字コードの概要編です。 0. はじめに 業務システムを開発する場合、プログラミング言語、フレームワーク、ミドルウェア、業務知識など以外に、共通で必要となる知識があります。文字コード、国際化、日付・時刻の扱い、住所コード、郵便番号、電話番号などの各種コード、…。 本連載では、プログラマがシステム開発で必要となる、技術と業務の狭間の共通知識を解説して行きたいと思います。 連載第1回は文字コードの概要編です。コンピュータシステムにおいて、文字情報は文字コードを用いて処理されます。文字コードとは、各文字に対応付けられた数値 (符号) のことです。近年、新規に開発される業務システムでは Unicode が使われることが多いと思いますが、既存システムとの連携など他の文字コードが使用されることもまだま
JISX0221:2020 国際符号化文字集合（ＵＣＳ）
X 0221：2020 (ISO/IEC 10646：2017，Amd.1：2019，Amd.2：2019) （1） 目 次 ページ 序文 ··································································································································· 1 1 適用範囲························································································································· 1 2 引用規格····························································
あなたの知らない(かもしれない)文字コードの世界 TypeScript版😊👍🏿パ👨👩👦🇦🇿🏴
こんにちは！アルダグラムのKANNAの開発お手伝いをさせて頂いているoubakiouです。 本記事は株式会社アルダグラム Advent Calendar 2023 6日目の記事です。 この記事を読めば以下のTypeScript(JavaScript)のテストコードがなぜこけるのかが分かったような気持ちになります。また最後に「細かい理屈はいいからいけてる感じに動くlengthやtruncateがほしい！」という方向けの付録もついています。 it('surrogate pair', () => { // 2 expect('😊'.length).toEqual(1) }) it('variation selectors', () => { // 4 expect('👍🏿'.length).toEqual(1) }) it('combining character', () => { //
「//このコメントを消したら動かない」は大体Shift_JISの2バイト目が原因で発生する - Qiita
TL;DR Shift_JISにしただけでコンパイラが通らなくなる恐ろしい事件とその回避法について。 \ (¥)のASCIIコードは0x5c 表、能は良くない UTF-8は神 2023/12/06追記 誤りがあったので訂正します。こんな読まれると思ってなかったので正直ちょっとびっくりしていますが、いろいろコメントありがとうございました。（ツイート等全て拝見しました。） Shift_JISが悪いわけではない（デフォルトのエンコーディング設定の問題）→追記しました UTF-8にはUTF-FSSという仕様でこの問題が回避されている→マジでタメになる知識ありがとうございます OSによってデフォルトのエンコーディング設定が異なるせいで、デフォルト環境での動作がOSにより異なる→なるほど？（調査中） CRLFとLF問題では→なるほど？（調査中） そんな問題何を今更→UTF-8が出てから生まれたからです
ᅠとは (ハングルジュンソンフィラーとは) [単語記事] - ニコニコ大百科
ᅠ単語 ハングルジュンソンフィラー 3.1千文字の記事 13 0pt ほめる 掲示板へ 記事編集 ᅠᅠᅠᅠᅠ概要文字コード空白文字として関連動画関連項目関連リンク掲示板ᅠ ᅠ ᅠ ᅠ ᅠ ᅠ ᅠ ᅠ ᅠ ᅠ ᅠ ᅠ ᅠ ᅠ ᅠ ᅠ ᅠ ᅠ ᅠ ᅠ ᅠ ᅠ ᅠ ᅠ ᅠ ᅠ 『ᅠ』（HANGUL JUNGSEONG FILLER、ハングルジュンソンフィラー、ハングル中声フィラー、UnicodeはU+1160）とは、本来は特定のハングル文字を表示する目的で使用されるために存在する文字（あるいは記号）である。 上の行の「『」と「』」の間に何も表示されていないように見える人が多いと思うが、実際にはこの間には『ᅠ』すなわち「ハングル中声フィラー」と言う文字が一文字入力されている。 本記事では、この文字と類似する文字『ㅤ』（HANGUL FILLER、ハングルフィラー、UnicodeはU+3164）、『
![ᅠとは (ハングルジュンソンフィラーとは) [単語記事] - ニコニコ大百科](https://cdn-ak-scissors.b.st-hatena.com/image/square/5bd1fac8d544d19340796767c18bdf23d7d3493d/height=288;version=1;width=512/https%3A%2F%2Fdic.nicovideo.jp%2Fimg%2Fog_b.jpg)
neue cc - UTF8文字列生成を最適化するライブラリ Utf8StringInterpolation を公開しました
UTF8文字列生成を最適化するライブラリ Utf8StringInterpolation を公開しました 2023-10-13 Utf8StringInterpolationという新しいライブラリを公開しました！UTF8文字列の生成と書き込みに特化していて、動作をカスタマイズした文字列補間式によるC#コンパイラの機能を活用した生成と、StringBuilder的な連続的な書き込みの両方をサポートします。 Cysharp/Utf8StringInterpolation 基本的な流れはこんな感じで、Stringを生成するのと同じように、UTF8を生成/書き込みできます。 using Utf8StringInterpolation; // Create UTF8 encoded string directly(without encoding). byte[] utf8 = Utf8String
UTF-32 でも固定長で処理出来るわけではない
AC_2017-12-08.md UTF-32 でも固定長で処理出来るわけではない 2024/04/17 更新 この記事は、自作OS Advent Calendar 2017の 12/8 の記事として書かれました。 もう、日本語の漢字や仮名を 2 バイト文字と呼ぶのは、やめよう IT 系のニュースサイトでも、未だに日本語の漢字や仮名のことを 2 バイト文字と呼んでいる記事が散見されます。 2017 年現在、UTF-8 という Unicode の符号化方式が主流で、日本語の漢字や仮名は 3 バイト～ 4 バイトで表現されることが多く、後述する結合文字や異体字セレクタのようなものまで含めると、さらにバイト数は増加します。日本語の漢字や仮名を 2 バイト文字と呼ぶことは適切ではありません。 Unicode の UCS-2 Unicode の規格が始まったばかりの頃は、世界の文字を 2 バイトで表
全ての開発者が知っておくべきUnicodeについての最低限の知識
2003年には「プレーンテキストなんてものは全く存在しない」と言われ、テキストの解読には文字コードの情報が必須となっていました。しかし、2023年になるまでの20年の間に絵文字などのおかげでUnicodeの利用率は98％へと到達し、再び文字コードを気にせずにすむ時代がやってきています。そんな時代において、正しくUnicodeを使うために必要な知識をエンジニアのニキータ・プロコポフさんが解説しています。 The Absolute Minimum Every Software Developer Must Know About Unicode in 2023 (Still No Excuses!) @ tonsky.me https://tonsky.me/blog/unicode/ Unicodeの歴史と利用率の推移をまとめたグラフは下図の通り。2000年代後半から急速に普及が進んでいったこ
C++標準化委員会、ついに文字とは何かを理解する: char8_t - Qiita
C++ Advent Calendar 2018 この記事はC++ Advent Calendar 2018 15日目の記事です。 14日目: VTKライブラリ 16日目: C++のエラー処理との付き合い方 当初見積もりよりも大幅に長い記事となり、投稿したのは12/22で1週間遅刻です。すみません。 お知らせ cpprefjpにchar8_t型追加について解説を書きました。ぎゅぎゅっとコンパクトに、また査読を受けて中立的な表現で書いていますので、よければどうぞ。 UTF-8エンコーディングされた文字の型としてchar8_tを追加 - cpprefjp C++日本語リファレンス 追記 全ての開発者が知っておくべきUnicodeについての最低限の知識 - GIGAZINE Unicodeについて簡潔にまとまってるいい記事を見つけました。 Caution この文章には以下の要素が含まれます。苦手
[Unicode]スペース以外の見えない空白文字の一覧 | 404 motivation not found
目次 はじめにスペースや全角スペースのような空白文字一覧参考にしたサイトはじめに スペースや全角スペース以外にもいくつか存在する目に見えない Unicode の文字の一覧です。 スペースや全角スペースのような空白文字一覧 ブラウザや環境によっては表示されない場合があると思います。 Unicode 実体 説明 description
![[Unicode]スペース以外の見えない空白文字の一覧 | 404 motivation not found](https://cdn-ak-scissors.b.st-hatena.com/image/square/fb851655897cdb9b67ba03c04ee10b84157ed45b/height=288;version=1;width=512/https%3A%2F%2Ftech-blog.s-yoshiki.com%2Fimages%2Fthumbnail%2Flinux-logo.png){kind=logo}
【PHP】拡張書記素クラスターを含む文字列の長さを正規表現で求める
intl モジュールの grapheme_strlen が使えない環境で正規表現（PCRE、Oniguruma）を代わりに使う場合、どのくらい速度が違うのか気になったので、計測することにした。 grapheme_strlen、preg_match_all、mbstring の関数が次の漢字を正しく数えられるのかを確認します。U+E0100 は異体字セレクターです。 $str = "竈門禰\u{E0100}豆子"; var_dump( 5 === grapheme_strlen($str), 5 === grapheme_count($str), 5 === grapheme_count2($str) ); function grapheme_count(string $str): int { return preg_match_all('/\X/su', $str); } function
JISX4061:1996 日本語文字列照合順番
2019年7月1日の法改正により名称が変わりました。まえがきを除き，本規格中の「日本工業規格」を「日本産業規格」に読み替えてください。 日本工業規格 JIS X 4061-1996 日本語文字列照合順番 Collation of japanese character string 1. 適用範囲 この規格は，日本語を主とする表記に用いられる文字列を含むレコードの照合順番を規定 する。このため，文字列の順序関係を定める照合規則を規定し，その照合規則のレコードヘの適用の仕方 である照合方法を規定する。 この規格で規定する照合順番は，次の三つとする（参考1.参照）。 (1) 単純照合 (2) 読み・表記照合 (3) 代表読み照合 この規格は，辞書の項目，データベースの索引，書籍の索引，用語集，人名録などのように，各項目に 施されている読み，その項目自体の表記などに基づいて項目を
単なるソートで詰まった話 - Qiita
この記事はJustSystems Advent Calendar 2017の22日目の記事です。 はじめに 普段は自然言語処理に使う言語資源をいじっています。 担当している業務のひとつに、 辞書リソース(語句リストのようなもの)をソートしてね Excelの「並べ替え」機能を使ってやってね という工程が含まれています。 たしかにExcelで行っても特段コストのかかる作業ではありませんが、普通にsortコマンドで済ませたらもっと楽になるのでは？とあるとき思いました。 とはいえ、「ソート手順を変えた」という要因だけで従来のリソースとの差分が大量に出ると面倒くさいです･･･。1 ということで、まずは様々な条件でソートしてみて、Excelのソート結果を再現できるものはあるか試してみました。 結論としては、自分がやってみた限りではsortコマンドではExcelのソート結果を再現できませんでした。 ただ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ITSCJの広場
全国信息技术标准化网 - 信标委NITS
FrontPage - JIS X 0213 Wiki
PHP-dev 2011年8月 保存書庫 スレッド
Unicode 15.1.0
UTR#17: Unicode Character Encoding Model