知っておきたい！ 文字コードの基礎知識 ……ASCII，シフトJIS，Unicode etc.：新刊ピックアップ
書籍案内 » 新刊ピックアップ » 知っておきたい！ 文字コードの基礎知識 ……ASCII，シフトJIS，Unicode etc. 『［改訂新版］プログラマのための文字コード技術入門』 ソフトウェアと文字コード ソフトウェアのエンジニア・開発者であれば，文字コードというものについて大なり小なり触れたことがあることでしょう。ソフトウェアを開発したり運用したりする上では必要になる知識です。ASCIIやシフトJIS，Unicode，UTF-8といったものがよく知られています。プログラマは，プログラムを書くたびに文字列処理という形で文字コードのデータを操作しています。 また，開発に携わらない場合でも，幅広いユーザーが文字コードを意識する機会はあります。たとえば，ソフトウェアの設定ファイルをテキストエディタで編集するときにどの文字コードで保存するかといったことや，通信ソフトウェアの送受信を指定す
UTF-8（ユーティーエフエイト）とは？文字コードの仕組みを知れば文字化けでも慌てない
PC、スマートフォンを扱っている人であれば、一度は「文字コードって何だろう？」と思った経験があるのではないでしょうか。 文字コードには様々なものがありますが、その中でもスタンダードなのがUnicodeの「UTF-8」です。日頃、文字コードを意識している方は少ないかと思いますが、コンピューター上で文字を扱うための重要な要素ですので、基本的なことはぜひ知っておきたいものです。 そこで今回は、「UTF-8」の基本知識から各ブラウザにおいての確認方法までをまとめてご紹介します。 マーケ思考のデザイナーは強い！ 提案型デザイナーのススメ リード獲得が重視される「広告・LP・サービスサイト」などに携わるデザイナーの皆様に向けての資料です。成果を出すデザインにするために心がけたいポイントを制作前、制作中、提出と修正、公開後の効果検証まで一連の流れに沿ってまとめています。 UTF-8（ユーティーエフエイト
文字コード再入門 ─ Unicodeでのサロゲートペア、結合文字、正規化、書記素クラスタを理解しよう！｜ハイクラス転職・求人情報サイト AMBI（アンビ）
文字コード再入門 ─ Unicodeでのサロゲートペア、結合文字、正規化、書記素クラスタを理解しよう！ 文字コードには、どのような種類があり、それぞれどのような意味を持つのか、といった、文字コードの基本的な概念、従来の文字コードを紹介し、現在のUnicodeの構成を概説し、プログラミングにおいて注意すべき箇所をいくつか取り上げます。 ソフトウェア開発に携わる方の多くは、何らかの形で文字コードに触れることがあるでしょう。文字や記号をコンピュータ上でデータとして扱うには、文字コードの知識が必要不可欠です。 本稿では、書籍『プログラマのための文字コード技術入門』の著者である矢野啓介さんが、知っておきたい基礎知識を分かりやすく解説します。 文字コードとは？ Unicode以前の文字コード Unicodeとその主な符号化形式 UTF-16 UTF-32 UTF-8 Webで文字コードを指定する仕組み
Unicodeのgrapheme cluster (書記素クラスタ) | hydroculのメモ
Unicodeのgrapheme cluster (書記素クラスタ) 2015/10/25 Unicodeテキストを1文字ずつ分割するアルゴリズムをUnicodeの仕様として定められており、grapheme cluster (書記素クラスタ)と呼ばれる。 普通はUnicodeのコードポイント1つずつ文字が割り当てられているので、ほとんどはコードポイント1つが1文字になるのだが、たまにコードポイント2つ以上で1文字になるものもあり、 1文字ずつテキストを分解するのは意外と複雑なルールになる。 Grapheme cluster について書かれている公式のドキュメントは以下にある。 Unicode® Standard Annex #29 UNICODE TEXT SEGMENTATION http://unicode.org/reports/tr29/ この記事は公式ドキュメントを読んで理解した
ASCIIコード表
ASCIIコード表 10進16進文字 0 0x00 NUL（null文字) 1 0x01 SOH（ヘッダ開始） 2 0x02 STX（テキスト開始） 3 0x03 ETX（テキスト終了） 4 0x04 EOT（転送終了） 5 0x05 ENQ（照会） 6 0x06 ACK（受信ＯＫ） 7 0x07 BEL（警告） 8 0x08 BS（後退） 9 0x09 HT（水平タブ） 10 0x0a LF（改行） 11 0x0b VT（垂直タブ） 12 0x0c FF（改頁） 13 0x0d CR（復帰） 14 0x0e SO（シフトアウト） 15 0x0f SI（シフトイン） 16 0x10 DLE（データリンクエスケープ） 17 0x11 DC1（装置制御１） 18 0x12 DC2（装置制御２） 19 0x13 DC3（装置制御３） 20 0x14 DC4（装置制御４） 21 0x15 NAK（
新人さんに知ってほしい「文字コードのお話」 - Qiita
文字集合の組み合わせも可能 2. Unicode,UTF-8, UTF-16 Unicodeの前に、まずはASCIIの説明 American Standard Code for Information Interchangeの略 最も基本的な文字コード。1960年代に開発。 ISO/IEC 646国際基準版と同等 ASCIIの構造 7bitで128文字収録 0x00～0x1Fは制御文字（タブや改行など） Unicodeとは？ 世界中の文字を扱えるようにした文字コード。 従来は国や地域ごとに、文字コードを切り替える必要があった。 たとえば、Shift_JISでは[é]のようなアクセント記号を表せない。 ISO/IEC 10646と同等。1993年制定された。 Unicode(UCS-4)の構造 4バイト符号。 各バイトが、郡、面、区、点に対応する。 面、区、点は00～FF(256)まで、郡は
Unicode ～ユニコードエスケープ形式とは～（文字コード関連） | 読み物 | ウナのIT資格一問一答
Unicode ～UTF-8、UTF-16との違い～では、Unicodeが世界中で使用される文字を集めた文字集合であり、実際の符号化にはUTF-8やUTF-16といった文字符号化方式（エンコーディング）を使用するというお話をしました。 当然、UTF-8やUTF-16といったエンコーディングが使用できる場合であれば、Unicodeで定義されている文字は問題なく使えるわけですが、それ以外のエンコーディングを使用しなければならない場合はどうでしょう？ 例えば、Javaにおけるプロパティファイル（設定情報などを「キー＝値」の形式で保存する拡張子が「properties」のファイル）の文字エンコーディングはISO 8859-1を使わなければいけないことになっています。 ISO 8859-1の符号表からもわかるように、ISO 8859-1で扱える文字の種類はごくわずかで、世界中の文字を定義するUnic
Macでファイルの文字コードを調べる - Qiita
Macでfileコマンドをつかってファイルの文字コードを調べました。 fileコマンドで文字コードを調べる fileコマンドに--mimeオプションをつけます。
MySQL と寿司ビール問題 - かみぽわーる
MySQL と Unicode Collation Algorithm (UCA) - かみぽわーる に関連するトピックで、 MySQL には寿司ビール問題というのがある。 寿司ビール問題どっかで詳しくお話を聞くべきだよなぁ。。。— RKajiyama (@RKajiyama) March 18, 2015 これはどういう問題かというと、 MySQL の Unicode では binary collation にしてコードポイントで比較しないと🍣と🍺に限らず絵文字が同値判定されるという問題です。 あれ？ MySQL の utf8mb4 charset って、4バイト文字同士を比較すると同じ文字扱いされる？ SELECT '🍣'='🍺' → 1 MySQL的には寿司とビールは同じ扱い。— とみたまさひろ (@tmtms) December 22, 2014 MySQLで select
Vimの文字コード関連 - Qiita
これはUTF-8で「あ」が3バイトであることを示している。 encodingは後で設定しても反映されないため、.vimrcに書く必要がある。 ファイル書き込み時の文字コード(fileencoding) fileencodingが設定されていると、バッファの内容がファイルに書き込まれるとき、 （すなわち:wしたとき）にencodingからfileencodingに文字コード変換が行われる。 fileencodingが設定されない場合は、encodingと同じになり、文字コード変換は行わない。 fileencodingの設定は、書き込み時にファイルに書き込まれる文字コードを設定するもので、 バッファに開かれている内容はencodingの設定で扱われることに注意。 読み込み時の文字コード(fileencodings)
Shift-JISなCSVを読み込む・書き出しするときにエラーを起こさない数少ない方法 - Qiita
CSV.foreach("/path/to/file", encoding: "Shift_JIS:UTF-8") do |row| p row #->UTF-8な日本語 end が。 Encoding::UndefinedConversionError - "\x87U" from Shift_JIS to UTF-8: とエラーが出てしまいます。 文字コードのオプションを付けてみる File#openの場合には、 {encoding: "Shift_JIS:UTF-8", undef: :replace} というオプションをつけて対応できますが、CSV#foreachなど、読み込み系のメソッドではこのオプションに対応しておらずに、エラーが出てしまいます。 ArgumentError - Unknown options: undef.: というわけで、csvモジュールにモンキーパッチを当
文字コードとは？~UTF-8はパソコンの世界共通語~｜データ分析用語を解説 - データビジュアライズで経営を視える化する/graffe グラーフ
Unicode、ASCIIコード、Shift-JIS、UTF-8、UTF-16の関係を理解する データ分析を行っていると、必ず出てくる専門用語で「文字コード」がありますが、それぞれの文字コードの概念は、曖昧になってはいませんか？ これから説明する内容は、文字コードとは何かを代表的な文字コードの関係性から説明します。(パソコンで取り扱う文字について、こちらの記事をご参照ください) UnicodeとUTF-16は別物 ～符号化文字集合と符号化形式について～ 若い情報処理系の技術者に対して、「代表的な文字コードって何？」と質問した時、返ってくる内容として「ASCIIコード、Shift-JIS、UTF-8、UTF-16、Unicode…」と答えるケースがあります。これは、厳密にいえば正しい答えではありません。 Unicodeは「符号化文字集合」と言われ、世界中の文字を集め、それぞれの文字に対して、
Ruby にて文字と Unicode コードポイントの相互変換を行う - vivid memo
Unicode のコードポイントを指定して文字を得たり、逆にある文字のコードポイントを調べたり、ということをする機会は結構多いと思います。 が、Ruby でそれをやる方法をぐぐってもあまり上位に情報が出てこないなー、と思ったので簡単にまとめておきます。 Unicode コードポイントとは そもそも Unicode コードポイントとは何か。 Unicode というのは世界中の文字が集められた文字集合であり、Unicode に収録されている文字には順番に番号が振られています。 この番号のことをコードポイントといいます。 あるコードポイントが指す文字を表現するときに "U+" という文字の後ろに 16 進数表記のコードポイントを書いて表すことがあります。 例えば、コードポイント 0x3041 が指す文字 (ひらがなの 「あ」) を U+3041 と書いて表します。 各文字とコードポイントの関係は
MySQL で utf8 と utf8mb4 の混在で起きること - tmtms のメモ
MySQL を UTF-8 で使おうと思ってハマりがちなのは charset utf8 を指定してしまうことです。 MySQL の UTF-8 には歴史的事情により utf8 と utf8mb4 の二つあります。 UTF-8 は1バイト〜4バイトで1文字が構成される文字コードですが、MySQL の utf8 は4バイト文字を扱うことができません。ハマりたくなければ utf8mb4 を使いましょう。 utf8 を使ってしまった場合に4バイト文字がどのように扱われるか、自分でもうろ覚えだったのでメモしておきます。 登録 接続が utf8mb4 でカラムが utf8mb4 あたりまえですが、そのまま登録されます。 mysql> insert into utf8mb4 (c) values ('美味しい🍣と🍺'); mysql> select * from utf8mb4; +--------
文字コード考え方から理解するUnicodeとUTF-8の違い | ギークを目指して
UnicodeとUTF-8の違いを理解していない方が結構居るようなので、文字コードの考え方を元に解説してみようと思う。 文字コードとは何か？ 文字コードとは、コンピュータ上で文字を扱うために、文字に対して割り当てられた数値のことであり、文字と数値の対応付けと呼べる。 この対応付けの種類は沢山あって、Shift-JISであったり、UTF-8であったりする。 以上！と言いたいけど、文字コードはこんなに単純ではない。文字コードを複雑にする要素は沢山あるが、今回の記事ではUnicodeとUTF-8の違いに焦点を絞って解説してみたいと思う。 文字コードの構成要素 文字コードの世界は以下の2つの要素で構成されている。 この違いを意識しておかないと混乱を招くだろう。 （１）．文字集合 – 表現したい文字の範囲（”あ”、”い”・・・といった文字の集合体） （２）．符号化方式 – 文字集合を構成する個々の文
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Rubyでファイルエンコーディングを確認する - SHOYAN BLOG
oukasei.com
Ruby 2.1.0 に追加される不正なバイト列を除去する String#scrub の紹介 : sonots:blog