UTF-8の文字列の文字数を数える - Qiita
UTF-8をコードポイントに分解する まずはじめに、コマンドライン引数で入力された文字列を、コードポイントごとに表示するプログラムを作成します。 UTF-8からコードポイントを求める方法は、Wikipedia で説明されているとおりです。 注意: 以下の説明は、Windowsでは動作しません。Linux, FreeBSD, MacOSX (またはCygwin)で試してください。 #include <stdio.h> /** * next_codepoint(&ptr); * ptrを、次のコードポイントの位置に動かす */ static int next_codepoint(const char **pp) { const char *p = *pp; int c = -1; if (*p == 0) { } else if ((*p & 0x80) == 0) { c = *p++ &
UTF8の文字数を数える - shnya’s blog
つい最近、UTF8文字列を扱う処理を書いたのでその実装方法についてのお話です。 今日の問題設定は、天下一プログラマーコンテストの例題でも有名になりましたが、UTF8の文字数カウントです。 UTF8の文字列形式について詳しくはWikipediaを見て頂ければいいかと思いますが、 http://ja.wikipedia.org/wiki/UTF-8 簡単に紹介すると、UTF8は一文字1-6バイト(最近は1-4バイトのみ)からなるエンコード形式であり、各文字が何バイトから構成されているかはその文字の1バイト目を見ればわかります。 例えば1バイト文字の場合は7bitのASCII文字から構成されていて、1バイト目の上位ビットが「0」となります。 2バイトの場合は「110」, 3バイトの場合は「1110」という風に以降、上位ビットの1の数と1文字あたりのバイト数が等しくなります。 また先頭バイト以外は
サロゲートペアとは？文字コードの変換に迫る - Qiita
1. はじめに 文字コードが異なる環境間でのデータ転送時に、サロゲートペアと呼ばれる文字の変換が必要となる場合があることを知りました。そこで、サロゲートペアについて調べた内容をまとめます。 2. サロゲートペアが誕生した経緯 普通、Unicodeでは1文字につき2バイトのデータを使います。この2バイトには65536通り（0x0000～0xFFFF）のビットが表現できます。Unicodeの本来のアイディアは、この約6万字で世界中の文字を表現しようというものでした。 また、日本語の場合、全角でも半角でも1文字あたり2バイトのデータを使います（例えば、"a"も"あ"も2バイト）。そのため、「文字数 × 2 ＝ 使用バイト数」という関係がいつも成り立ち、使用バイト数を2で割れば文字数を簡単に導き出せました。これは文字列を1文字ずつ処理する場合など、便利な側面がありました。 しかし、最近ではUnic
UTF-8の文字コード表 - 備忘帳 - オレンジ工房
UTF-8の文字コード表なのです。いつも検索して、よそ様のページを参照させていただいていたのですが、面倒なので自分で作りました。 perlのスクリプトでガーッと出したので、見栄えはアレですが、とりあえず。 1バイト文字 2バイト文字 3バイト文字 E2 9C 80 ～ Dingbats、昔からある記号、絵文字とか E3 80 80 ～ 全角ひらがな・カタカナ EF BC 80 ～ 全角英数字、半角カナ 4バイト文字 F0 9F 8C 80 ～ たぶん今どきの皆さんの言う絵文字 F0 9F 98 80 ～ 顔文字 更新履歴 (2018-05-10 追記) コード表を全体的に再出力しました。変更点は以下の通りです。 unicode追加面、4バイト文字の表もつくりました。 各文字ブロックにタイトルを付けました。英語タイトルはUnicode仕様書PDFへ直リンクしています。 表示されてないけど、ど
VARCHAR(X)やINT(X)の「X」は何を表しているのか - Qiita
はじめに 新人研修にてLaravelを使っている時のお話です。 テーブル設計を行う時にデータ型とサイズを決めなければなりませんでした。 その時に、例えば、INTの(X)のXは何を表しているのか正確に理解していなかったので、この機会に使用頻度の高いCHAR型やVARCHAR型などの文字列を格納するデータ型も含め、調べたいと思いました。 この記事を読み終えたあなたが適切にデータ型やサイズを決めることができることをこの記事の目標にしたいと思います。 ちなみにQiita初投稿です(なんか緊張する...)。 検証環境 macOS Catalina ver 10.15.7 Docker ver 20.10.5 docker-compose ver 1.29.0 Laravel ver 7.30.4 MySQL ver 8.20.3 内容 「ユニコード(Unicode)とは」 その前に、まず「文字コード
[Unicode]スペース以外の見えない空白文字の一覧 | 404 motivation not found
目次 はじめにスペースや全角スペースのような空白文字一覧参考にしたサイトはじめに スペースや全角スペース以外にもいくつか存在する目に見えない Unicode の文字の一覧です。 スペースや全角スペースのような空白文字一覧 ブラウザや環境によっては表示されない場合があると思います。 Unicode 実体 説明 description
![[Unicode]スペース以外の見えない空白文字の一覧 | 404 motivation not found](https://cdn-ak-scissors.b.st-hatena.com/image/square/fb851655897cdb9b67ba03c04ee10b84157ed45b/height=288;version=1;width=512/https%3A%2F%2Ftech-blog.s-yoshiki.com%2Fimages%2Fthumbnail%2Flinux-logo.png){kind=logo}
円記号 - Wikipedia
領収書に書かれた円記号 横線を1本のみ加えた円記号 理由は不明だが[2]、明治時代に日本の通貨である日本円が制定された際、「円」は「en」ではなく「yen」と綴られた(詳細は円 (通貨)を参照)。ドルの習慣に合わせて、その頭文字Yに同様の二重線を入れたものが「¥」の由来であるとする説が一般的である。 一方、中国では本来の通貨単位である「圓」を、貨幣を表すにふさわしい・画数が少ない等の理由から、同音異字の「元」に代替した。双方、拼音で「yuán」と綴り、この頭文字に横線を1本または2本加えた記号「¥」を漢字と同じ2バイト文字として用意し、コンピュータ用の文字集合GB 2312に採用した結果、徐々の実社会でも普及した。
ZIP中のファイル名の文字化け - @tmtms のメモ
こんな記事がありました。 gihyo.jp これはMacユーザー用の書籍の宣伝記事らしいのですが、「Windowsを使ってる人のためにMac側がひと手間かけてあげよう」なんて殊勝なことをマカーが言うとは時代も変わったもんです。（[追記] はてブのコメントを見たらさすがマカーという意見が並んでて安心しました） まあ私はWindowsユーザーでもMacユーザーでもないのでどうでもいいのですが、文字化けなネタなので食いついてみます。 記事中に、「付物出稿.zip」というファイルを開いた時の画像が載ってます。 文字の並びからして、UTF-8文字列をシフトJIS(CP932)とみなして表示してしまった文字列でしょう（「繧ｫ繝上ｙ繝ｼ繝輔か繝ｫ繧ｿ繧･」の元の文字は「カバーフォルダ」で、「蟶ｯ繝輔か繝ｫ繧ｿ繧･」は「帯フォルダ」）。 つまり、Macはファイル名をUTF-8でZIPに書き込み、Wi
zip ファイル解凍時の文字化けに関する情報 - Cube Lilac
CubeICE の利用動機の一つとして Mac などで作成された zip ファイルを解凍する際に文字化けしない と言うものが挙げられます。この記事では、なぜ文字化けが発生するのかと言う基本的な情報から、Windows における主要な解凍ソフトの対応状況までを簡単に紹介していきます。 必ずしも UTF-8 の zip ファイル解凍時に文字化けする訳ではない Mac で作成された zip ファイルを Windows で解凍すると文字化けする原因は、Mac （Windows 以外） で採用されている文字コードが UTF-8 なので、日本語用 Windows で採用されている Shift_JIS (CP932) と異なるからと言われます。ただ、Windows 標準の解凍機能を用いた場合でも、必ずしも UTF-8 の zip ファイルで文字化けする訳ではありません。例えば、CubeICE には UT
CP932とMS932の違いを調べて知ったCP932とSJISの違い - ponsuke_tarou’s blog
「統合したCP932」とMS932は同じようなもんです。 CP932の歴史 「誕生したばかりのCP932」とSJISと同じですが、「統合されたCP932」とSJISには違いがあります。 「統合されたCP932」にはあるけどSJISにはない文字があります。 SJISやCP932で2byte目が「5C」「7E」の文字には問題が起こることがあります。 2byte目が5cと7eの一例 「統合したCP932」とMS932は同じようなもんです。 「統合したCP932」をJavaではMS932といいます。 わざわざ「統合したCP932」としたのには理由があります。 CP932は時代によってものがちょっとずつ違うのです。 CP932の歴史 西暦 CP932 の歴史 ざっくり説明 1982 CP932誕生 マイクロソフトが日本語ようにSJISという文字コードを作りました。このSJISの管理番号はコードページ
[7zip]日本語版Windowsで圧縮されたzipファイルを文字化けせずに解凍する方法 - Qiita
やりたいこと Windows英語環境を使用している Windows日本語環境で圧縮されたzipファイルを回答すると、日本語ファイル名が文字化けする 文字化けしてしまったファイル名を修復するソフトもあるが、解凍時点で正しく解凍したい 会社支給PCの環境でありなるべく新しくソフトをインストールしたくない 日本同士でもWindowsーMac, Linuxでも同じ現象が起こる様子 Mac, Linuxでの解決方法は情報豊富 また、一部の情報では7zipが自動的にエンコードを判別してくれるとのこと しかし、私のWindows英語環境ではうまく機能せず 他にWindows英語環境でできる方法を探してみたものの、日本語情報がなかったので記事化 環境 Windows10 (英語環境) 7zipコマンドライン版(7-Zip Extra 19.00) 原因 日本語版Windowsでは圧縮時にShift-JIS
![[7zip]日本語版Windowsで圧縮されたzipファイルを文字化けせずに解凍する方法 - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/5002fe3469158fa8268489d14a98615e3bdfece7/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JTVCN3ppcCU1RCVFNiU5NyVBNSVFNiU5QyVBQyVFOCVBQSU5RSVFNyU4OSU4OFdpbmRvd3MlRTMlODElQTclRTUlOUMlQTclRTclQjglQUUlRTMlODElOTUlRTMlODIlOEMlRTMlODElOUZ6aXAlRTMlODMlOTUlRTMlODIlQTElRTMlODIlQTQlRTMlODMlQUIlRTMlODIlOTIlRTYlOTYlODclRTUlQUQlOTclRTUlOEMlOTYlRTMlODElOTElRTMlODElOUIlRTMlODElOUElRTMlODElQUIlRTglQTclQTMlRTUlODclOEQlRTMlODElOTklRTMlODIlOEIlRTYlOTYlQjklRTYlQjMlOTUmdHh0LWFsaWduPWxlZnQlMkN0b3AmdHh0LWNvbG9yPSUyMzFFMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT01NiZzPTFjYTA5MjJhYTBiNGQwYzZlYWJmM2MyYTJkZDk1ZDgx%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDBEYWlraWNoaURhemUmdHh0LWNvbG9yPSUyMzFFMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT0zNiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPWYwYzc0MmVjZGEwYTVlOTJhMDEzZGNhN2QzOTQxNjcw%26blend-x%3D142%26blend-y%3D486%26blend-mode%3Dnormal%26s%3D0a4c566a0138a9bf18e6969245183136)
RFC 3492: Punycode: A Bootstring encoding of Unicode for Internationalized Domain Names in Applications (IDNA)
[RFC Home] [TEXT|PDF|HTML] [Tracker] [IPR] [Errata] [Info page] PROPOSED STANDARD Updated by: 5891 Errata ExistNetwork Working Group A. Costello Request for Comments: 3492 Univ. of California, Berkeley Category: Standards Track March 2003 Punycode: A Bootstring encoding of Unicode for Internationalized Domain Names in Applications (IDNA) Status of this Memo This document specifies an Internet stan
「ｿ」「ソ」による文字化けについて - Qiita
最上位ビットに違いがあることが分かった。 「プログラマのための文字コード技術入門」という2010年に購入した本を引っ張り出して軽く眺めてみた。 JISの8ビット符号にはGR領域とGL領域があり、GR領域を使用する場合には第8ビット(最上位ビット)に1をセットして用いるとのこと。 変換できないので「?」にして戻した後、第8ビットに1をセットする変換がされたことにより「ｿ」になってしまったのではないかと推測している。 逆疑問符[¿」は「ｿ」と同じコードであり、こちらはLatin-1の文字コードが使われたようだ。 ちなみに文字化けについては、環境変数に「NLS_LANG=JAPANESE_JAPAN.JA16SJISTILDE」を追加することで解消された。 「ソ」よる文字化け Shift-JISは半角文字と全角文字を表せますが、1文字が何バイトなのかが固定されていないのです。なので「ソ」など2バ
C++標準化委員会、ついに文字とは何かを理解する: char8_t - Qiita
Deleted articles cannot be recovered. Draft of this article would be also deleted. Are you sure you want to delete this article? C++ Advent Calendar 2018 この記事はC++ Advent Calendar 2018 15日目の記事です。 14日目: VTKライブラリ 16日目: C++のエラー処理との付き合い方 当初見積もりよりも大幅に長い記事となり、投稿したのは12/22で1週間遅刻です。すみません。 お知らせ cpprefjpにchar8_t型追加について解説を書きました。ぎゅぎゅっとコンパクトに、また査読を受けて中立的な表現で書いていますので、よければどうぞ。 UTF-8エンコーディングされた文字の型としてchar8_tを追加 - c
文字化けしないようにするには - とほほのWWW入門
Webページを見ていると、時たま日本語がちゃんと表示されないときがあります。これを「文字化け」と呼びます。文字化けをおこす原因はいくつかあります。 【原因】日本語の漢字コードにはJIS、シフトJIS(Shift_JIS)、EUC(EUC-JP)などいくつもの種類があります。(→漢字コードについて) 通常はブラウザが自動的に漢字コードを判別するのですが、たまに判別を誤ってしまうことがあります。一般に、JISコード ＜ シフトJIS ＜ EUCの順で、文字化けする可能性が高いようです。 （補足します。最近では、シフトJISのパソコンが大半であることから、ブラウザはシフトJISを優先する傾向にあるようです。従って、シフトJIS が一番文字化けしにくい漢字コードになっています。(2001.7.5追記)） 【対策】文書をJISコードで記述するか、「対策１：おまじないの文字を書く」、「対策２：文字コー
Japanese Moodle: Safariでダウンロード時の日本語ファイル名の文字化け | Moodle.org
Learn about Moodle's products, like Moodle LMS or Moodle Worplace, or find a Moodle Certified Service Provider. Moodle.com Our social network to share and curate open educational resources. MoodleNet Courses and programs to develop your skills as a Moodle educator, administrator, designer or developer. Moodle Academy Moodle.com Learn about Moodle's products, like Moodle LMS or Moodle Worplace, or
lsで日本語ファイル名が表示されない
通常、bash上のlsコマンドでは日本語ファイル（ディレクトリ）が化けてしまう。これは仕様であり、次のように指定すれば見えるようになる。 $ ls Do_As_Infinity-?{???n???V?i??.mp3 $ ls --show-control-char Do_As_Infinity-本日ハ晴天ナリ.mp3 もしこれでも見えない場合には、文字コードとターミナルの表示コードが合っているか見直してみよう。TeraTerm Proの場合には「設定」→「端末」メニューの「漢字（受信）」項目を調べればよい。 毎回、「--show-control-char」を付加させるのが面倒であれば、.bashrc、あるいは.bash_profileファイルに次の行を加えておくとよいだろう。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Multibyte characters mess up alignment in editor : IDEA-150985
Webアプリケーション設計の第一歩は
ディレクトリの整理から / Encraft 1
【 nkf 】コマンド――文字コードと改行コードを変換する
