TCHAR (3) <tchar.h> - イグトランスの頭の中
更に_MBCSが定義されているかどうかという第3の状態が存在します。これが定義されていればマルチバイト文字、そうでなければシングルバイト文字を使用するということになります。 次のプログラムではその違いが現れます。_tcschrはstrchr/_mbschr/wcschrの3種類に展開されます。 //test.cpp //VC++ 8 cl /EHsc test.cpp #include <stdio.h> #include <string.h> #include <tchar.h> int main(void) { const _TCHAR* p = _tcschr(_T("ア"), _T('A')); if (p != 0) _tprintf(_T("p == '%c'\n"), *p); else _tprintf(_T("not found\n")); return 0; } このま
不正なバイト列を考慮して UTF-8 の文字列から1文字ずつ取り出す
ライブラリやプログラミング言語で UTF-8 の文字列関数を実装する場合、不正なバイト列に遭遇しても、処理を続けることが求められます。 最小限必要な関数は次の文字のバイト数を返す関数です。 C 言語の標準関数であれば mblen や mbtowc などが挙げられますが、これらの関数は不正なバイト列に遭遇すると、負の値を返すため、処理を止めるか、不正なバイト列よりも後ろの箇所を切り捨てざるを得なくなります。 不正なバイト列のサイズの計算方法は Unicode Standard に記載されています。 バイト列の範囲表 Unicode Standard 7.0 の3章に次のような表が記載されています (Table 3-7. Well-Formed UTF-8 Byte Sequences)。 コードポイント 1番目のバイト 2番目のバイト 3番目のバイト 4番目のバイト U+0000 - U+0
ICU を使って UTF-8 の文字列から1文字ずつ取り出す - Qiita
書記素クラスターを扱う必要がある場合、BreakIterator を使う必要があります。こちらの記事をご参照ください。 ビルドオプション #include <stdio.h> #include <string.h> #include <unicode/utf8.h> void print_each_char(const char*, size_t); int main(void) { const char* str = "?野家"; size_t size = strlen(str); print_each_char(str, size); } void print_each_char(const char* str, size_t size) { int32_t previous; int32_t current = 0; int32_t buf_size = 0; int32_t* s
ICU - International Components for Unicode
2024-04-17: ICU 75 is now available. It updates to CLDR 45 (beta blog) locale data with new locales and various additions and corrections. C++ code now requires C++17 and is being made more robust. The CLDR MessageFormat 2.0 specification is now in technology preview, together with a corresponding update of the ICU4J (Java) tech preview and a new ICU4C (C++) tech preview. See Downloading ICU > ICU
Handling Character Code in C
Cにおける文字コードの扱い 概要 Cで日本語文字を扱う場合の問題 ツールを使った文字コード変換 各文字コードの概略とCでの処理コード例 ASCII EUC Shift_JIS UTF-8 UTF-8対応の関数ライブラリ 概要 C言語で文字を扱う際には、 各文字に異なる整数値を割り当てた「文字コード」を用います。 これによって、 実際には整数型の一種である char 型に文字を格納できますし(実際は対応する整数値を格納している)、 整数と同じ比較演算子を用いて文字同士の辞書順比較を行うことができます。 Cでは元々、アルファベット圏の文字を想定しているため、 任意の一文字を char型(1バイト)で表すことにしています。 Cの仕様として文字コードまで決められてはいませんが、 今日では一般的にASCIIが使われます。 しかし、これでは256種類の文字しか区別できず、 日本語のように多数の文字を含
C言語でのUTF-8文字列の正確な長さを取得する
苗字や地名の異体字や国旗、色違いの絵文字など、複数のコードポイントで構成される書記素クラスターを考慮する必要がある場合、ICU の BreakIterator を使います。書記素クラスターに対応していない文字列関数を使うと、知らないうちに書記素クラスターを壊してしまうおそれがあります。 Twitter のようにコードポイント単位で短い文字数制限をかける場合、ヒンドゥー語やチベット語など、結合文字を多用するアジア諸国の言語のユーザーにとって、使い勝手がわるくなる可能性があることも配慮する必要があります。 漢字の異体字をあらわすには基底字の次に異体字セレクターや Standardized Variant を続けます。葛飾区の「かつ」は <U+845B U+E0101> であらわすことができます。国旗は2文字の国コードを該当するコードポイントであらわします。日本の国コードである JP は <U+
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
MinGWで_tmain()を使用する方法 - Frost Moon Project
https://www.web-development-kb-ja.site/ja/c/c%E3%81%AEunicode%E6%96%87%E5%AD%97%E5%88%97%E3%81%AE%E6%96%87%E5%AD%97%E3%82%92%E6%95%B0%E3%81%88%E3%82%8B%E6%96%B9%E6%B3%95/940429475/
GitHub - JuliaStrings/utf8proc: a clean C library for processing UTF-8 Unicode data