寿司とビールについて話し合いをしてきました | GREE Engineering
こんにちわ。せじまです。 さいきんの kernel について調べてたら、俄に Chromebook への興味が湧いてきたので、遅まきながら C302CA ポチってみました。わたしにとって人生初 Core M ということもあって、早く届かないかなと心待ちにしている今日このごろです。 はじめに MySQL5.7以前でおそらく最も有名な問題の一つに、Sushi-Beer issue of MySQL with utf8mb4 というものがあります。 忙しい人のために三行でまとめますと MySQL は character-set に utf8mb4 を指定すると、寿司やビールなどの絵文字を扱える。 ただ、Collation（照合順序） が utf8mb4_general_ci や utf8mb4_unicode_ci だと、絵文字を区別できない（寿司とビールの絵文字を区別できない）。 utf8mb
MySQLと令和 / MySQL and Reiwa
スマートロック開発におけるSLI/SLOを用いた解錠体験の改善 / Improving the unlocking experience using SLI/SLO in smart lock development
Yusuke Endoh on Twitter: "新元号の発表に合わせて Unicode 12.1 や Ruby 2.6.2（多分）がリリースされる予定。新元号のコードポイント自体は U+32FF と決まっているのに、なぜ急いでリリースする必要があるのかというと、次の挙動のためで… https://t.co/kYY9ZqgWWv"
新元号の発表に合わせて Unicode 12.1 や Ruby 2.6.2（多分）がリリースされる予定。新元号のコードポイント自体は U+32FF と決まっているのに、なぜ急いでリリースする必要があるのかというと、次の挙動のためで… https://t.co/kYY9ZqgWWv
長くて覚えやすくて複雑なパスワードとemojiの話
すみだセキュリティ勉強会2018その1での発表資料です。 http://ozuma.sakura.ne.jp/sumida/2018/03/22/38/
コンピューターで全漢字使用可に ６万字コード化 | NHKニュース
日本語の漢字は、戸籍などに使われているものも含めると６万字あるのに対し、コンピューターは、実は１万字しか扱うことができません。これに対し、このほど１５年越しの作業の末、６万字すべてが統一の規格にまとめられて、コンピューターがすべての漢字を扱えるようになり、ビッグデータの活用をはじめさまざまな効果が期待されています。 中には、メーカーなどが独自に対応した外字もありますが、コードが無いために、メーカーごとの互換性が無く、データを受け渡してもコンピューターが認識できずに「文字化け」してしまったり、ある人の名前に本名の外字を充てたものと略字を充てたものの２つのデータがあった場合、コンピューター上では、別の人と認識されてしまったりするなどの問題が起きていました。 このためＩＰＡ＝情報処理推進機構は平成１４年から、経済産業省とともに外字を含めたおよそ６万字の漢字１つ１つに、コードを割りつける作業を進め
市場バグを引き起こした優秀なデータたち - ボドゲを愛するテスト屋さん
※この記事は「ソフトウェアテストの小ネタ Advent Calendar 2017 - Qiita」用の記事です。 ソフトウェアテストの小ネタ 2日目担当のオムそばです。 実はちゃんとした(?)記事を書くのはこれが初めてなので、生暖かい目で見ていただければ。 そんなわけで早速表題の件、市場バグを引き起こした優秀なデータたちをご紹介します。 今回は、よくある「半角記号」、「空白やスペース」などは割愛させていただきます。 (2017/12/26追記)"市場バグ"という言葉に違和感や疑問を持たれた方は、こちらの記事をどうぞ。文言について整理してみました。 ■日時に関するデータ ・1969/12/31、2038/1/20：UNIX系のシステムに有効なデータ。UNIXのシステム時刻は1970/1/1 開始なので、それ以前のデータを打ち込むと予期せぬエラーが発生する可能性がある。また、同様に2038/
「ユニコード」で予期せぬ目に遭った話 - moriyoshiの日記
自分の知らないCJK Ideographのバリエーションがまだあったことに戦慄している pic.twitter.com/kUlyRLDDTM— moriyoshit (@moriyoshit) March 9, 2017 などというツイートをしたところ、思ったより反響があったのでまとめておく。 上記ではあいまいに「バリエーション」などと書いたが、Unicodeとそれを扱う環境においては、バリエーションと一口に言っても次のような状況がある。 意味論的に等価な異なる字形の集合 同じ字形で異なるコードポイントの集合 aは結構なじみ深いと思う。 a-1. 異なるコードポイントにそれぞれ異なる字形が割り当てられているもの 例: 「東」(U+6771) ⇔「东」(U+4E1C) 「斉」(U+6589) ⇔「齊」(U+9F4A) 「高」(U+9AD8) ⇔「髙」(U+9AD9) a-2. 同じコードポイ
7bit と 8bit の狭間で - tmtms のメモ
これは Postfix Advent Calendar 2014 の6日目の記事です。 その昔、電子メールは 7bit データでした。 日本語は ASCII の範囲におさまらないのですが、ISO-2022-JP*1にエンコードすることで 7bit になるので、日本語でメールする人たちはそのようにしてました。今でも日本語を扱うメールアプリのデフォルトのエンコーディングは ISO-2022-JP になってることが多いと思います。 ただしヘッダの From や To フィールドには規格上 ISO-2022-JP は書けないので、メールアドレスの表示名には日本語は使えませんでした。 余談ですが、メール本文の冒頭で自分の名前を名乗る日本の風習は From に日本語で名前が書けなかったためじゃないかと、個人的に妄想してます。 バイナリデータは uuencode 等でテキストに変換して、メール本文に貼り
utf8_unicode_ci に対する日本の開発者の見解 - かみぽわーる
RailsがMySQLのcollationをサーバー側のデフォルトのutf8_general_ciからutf8_unicode_ciにわざわざ変えてるのどうせ大した理由じゃないだろと思って掘ってみたらやっぱり大した理由じゃなかった… https://t.co/6NeetGhTF0— Ryuta Kamizono (@kamipo) April 18, 2014 Railsでcollationとしてutf8_unicode_ci(RailsのDEFAULT_COLLATION)が採用されるのはcharsetが未指定もしくはutf8(RailsのDEFAULT_CHARSET)のときだけで、utf8mb4にすることとかは全く考慮されてない。— Ryuta Kamizono (@kamipo) April 19, 2014 @frsyuki MySQLのcharset utf8のときのデフォルト
ものかの：Photoshop CS2 同じフォルダに同一名称のファイルがある事態になると、保存操作時に断りもなく勝手にファイルを削除してしまう
InDesignは2019（v14）からメジャーバージョンアップ時にBoost.Regexも更新するようにしたようで、正規表現のUnicodeバージョンも更新されるようになりました。 CC 2018（v13）まで Unicode 5.1 CC 2019（v14） Unicode 9.0 2020（v15） Unicode 12.0 2021（v16） Unicode 13.0 2022（v17） Unicode 13.0 2023（v18） Unicode 14.0 2024（v19） Unicode 15.0, 15.1 正規表現のUnicodeバージョンの調べ方 Unicodeのバージョンにとくに影響するのは、\dや\sといった略記法です。InDesignの「\d」はUnicodeカテゴリーの「Nd」に相当するので、各UnicodeバージョンのNd文字をinddに並べて、\dでマッチす
ドコモ絵文字コードの種類と一覧
パソコン用ドコモ絵文字フォントを格納すると、パソコンで表示できます。Vector > フォント用ユーティリティ 内の i-mode絵文字対応外字データ などで、パソコン用ドコモ絵文字フォント（無料）をダウンロードできます。Vector > フォントエディタ 内の TTEdit などで、フォントを自作することもできます。パソコンの外字登録領域を使うので、フォントの使用には注意が必要です。 外字登録領域のユニコード文字一覧表で外字が登録されているかどうか確認して下さい。パソコンからドコモ携帯へのメール送信や携帯サイトへの投稿に使えます。 （パソコン用ドコモ絵文字フォント不要）ドコモ絵文字メール受信パソコン → パソコンパソコン用ドコモ絵文字フォントが格納されていれば、パソコンで表示できます。ドコモ携帯 → パソコンドコモのメール送信サーバで絵文字が“〓”に変換されているため、パソコンで表示でき
Ruby on Rails + MySQL で全文検索 - ドワンゴ 研究開発ブログ
このエントリでは Ruby on Rails と MySQL を使って日本語の全文検索を行う方法を記述する。Ruby on Rails のバージョンは 2.0.2、MySQL のバージョンは 5.0.67、Tritonn のバージョンは 1.0.12、Hyper Estraier のバージョンは 1.4.10 を使用した。サンプルの文章データとして、あらゆる日本人にとって極めて身近な著作権切れ文章である『ドグラ・マグラ』と『黒死館殺人事件』を利用した。処理のために整形したデータは本エントリに添付しておく。またデータベースへアクセスするコードではマイグレーションを除きできるだけベンチマークを取るようにし、その結果は本エントリの最後に記載する。 ページネーション Rails でページネーションを実現する will_paginate という plugin は ActiveRecord に標準でつ
日本語のe-mail、ISO-2022-JP以外のcharsetを使うのは是か非か | スラド IT
問題をよく考えましょう． 単独で動作するアプリケーションの話ではなく，不特定多数の相手との通信アプリケーション 直接に相手の(文字コードなどの)能力仕様を確認する手順を踏まずに， 仮定(相手が ISO-2022-JP 等を処理できると決めうち)の上でいきなり送りつける (SMTPによる MTA 間のやり取りはEHLO 等で仕様確認して調整する余地があるが， MUA間のやり取りは RFC822,RFC2822,RFC5322 などの仕様で書かれたものを，完全一方通行で送る) (とりあえず 8bit through かどうかはまた別の問題ということで置いておく) さてここで，歴史的に考えるとこんな感じになります． 原始時代: 英語? ローマ字?(私はよく知らない) pre-MIME時代: メッセージには JIS(≒ISO-2022-JP)を使うという プロトコル外の「共通の了解事項」を設定する
特集 文字化けを出さないメール術
受け取ったメールを開いてみたら、何やらワケのわからない文字が並んでいた。普通のテキストで送ったのに、文字化けで読めないと言われた…。こんな文字化けによる被害は、インターネットメールを使っている人なら誰でも経験したことがあるはずだ。もちろん、これではメッセージがきちんと伝わるわけがなく、メールを送り直したり、それでもダメなときはFAXを使ったりと、後始末が面倒なことこの上ない。 そこで今回は、メールの文字化けの原因を解説しながら、自分がメールを作成する際、どうすれば文字化けが避けられるのかを紹介していく。 ●症状１ 本文が文字単位で文字化けしている まずは、軽い症状から見ていこう。ほとんど正常な日本語で表示されているが、途中の1文字から数文字だけが変な文字（文脈にそぐわない記号や四角いマークなど）になっているという例。文章の意味がわからなくもないが、やはり気持ちが悪い。 原
文字コード変換スクリプト「mozicode」 〜ブラウザ上で変換できます〜
このページはこちらに移転しました。 お手数ですが、ブックマーク・リンクの変更をお願いします。 移転先 http://www.ahref.org/app/mozicode/ ©2001-2007 ahref.org
文字コード取得ツール1.2.0
文字コード取得ツール1.2.0 文字から文字コードを得る テキストを入力してください（シフトJISのみ有効）。 文字コードから文字を得る 文字コードを入力してください。 入力形式は、 面-区-点の形式（例:「結」の文字なら1-23-75） シフトJIS16進4桁の形式（例：「結」の文字なら8C8B） のいずれかです。 スクリプトはこちらから入手できます
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
「BASE64」 ～マンガでプログラミング用語解説
ＭＳ ゴシック、ＭＳ 明朝相当のフォントについて知る | 産業向け製品 | リコー
UnicodeのWAVE DASH例示字形が、25年ぶりに修正された理由 
ずんWiki - vim - 検索語が画面の真ん中に来るようにする