絵文字がある種のUnicodeバグを世界から一掃しつつある件について｜Rui Ueyama
UnicodeのUTF-16エンコーディングではほとんどの文字（コードポイント）は2バイトで表現されるが、Unicodeに後から追加収録された文字の多くは4バイトで表現される。4バイト文字がうまく扱えないプログラムというのはわりとよくある。しかし世界中で広く使われるようになった絵文字がよりによって4バイト文字であるせいで、そのような文字が扱えない問題がよいペースで解決に向かいつつある。それについて少し説明してみようと思う。 Unicodeが80年代から90年代初頭にかけてデザインされたときの目標の一つは、Unicodeに含まれる文字数を65536個以内に収めることだった。現代の文章を実用的なレベルで表すためには、漢字などを含めてもそれだけの種類の文字があれば十分だと考えられたのだ。当然これは1文字を2バイトで表すことを念頭に置いていた。つまりコンピュータの揺籃期から当時に至るまで単純に英語
特集 : 絵文字が開いてしまった「パンドラの箱」
The Japanese edition of 'CNET' is published under license from A Red Ventures Company., Fort Mill, SC, USA. Editorial items appearing in 'CNET Japan' that were originally published in the US Edition of 'CNET', 'ZDNET' and 'CNET News.com' are the copyright properties of A Red Ventures Company. or its suppliers. Copyright (c) A Red Ventures Company. All Rights Reserved. 'CNET', 'ZDNET' and 'CNET New
PythonのUnicodeEncodeErrorを知る - HDEラボ
Pythonにはじめて触って、いつのまにか1年が過ぎたのですが、一番はまったのは、やっぱりunicodeの扱いだったと思います。 特に、 UnicodeEncodeError: 'ascii' codec can't encode characters in position 0-12: ordinal not in range(128) のようなエラーにはさんざん悩まされました。ここがたとえばrubyなど他の言語と比べてわかりにくいために、Pythonが取っつきにくい言語になっているのではないか、と個人的には思います。 そこで、このエラーに関係するはまりどころとTipsをいくつか列挙してみました。これからPythonに触れられる方の参考になればと思います。 なお、環境はUNIX上のPython 2.4, 2.5を想定しています。 u1はunicode型で、s1はstr型です。s1にどのよ
Windows環境でUTF-8のデータを表示する - satake7’s memo
MySQLのDBはRailsでのお奨め通り、UTF-8に設定してあります。そうすると、Ubuntuで作業する分にはなんら問題はないのですが、Windowsの PowerShellや CMDでMySQLクライアントを立ち上げてちょっとSelectの結果を見ようと思うと日本語が化け化けになってしまうのです。 試行錯誤 まず、「C:\> MySQL -u root -ppassword -e 'SELECT * FROM items 2555_development > out.txt」とかやってみました。これでできるのであれば別に画面でみれなくてもいいし。 結果、化け化けでした。 次は Oracle接続ではよく使っているCSEを試してみることに。 データベース接続で MySQLを選択するとエラーで落ちました。ODBC接続だとうまくいくみたいですが、ODBCドライバのところに MySQLがありま
[mysql]MySQLで、「Unknown command '\''.」ERROR - 屑プログラマの憂鬱
Railsで使っているデータ(UTF-8)→mysqldump→WindowsのMySQLの中へ移動の際にエラーが出た。対処法は、Importの際に元のデータの文字コードにあわせて、「--default-character-set=utf8」を付けることみたい。 C:\home>mysql -u user database < dump.sql ERROR at line 51: Unknown command '\''. C:\home>mysql -uroot --default-character-set=sjis dokuzetsu_devel < dump.sql ERROR at line 51: Unknown command '\''. C:\home>mysql -uroot --default-character-set=utf8 dokuzetsu_devel < d
![[mysql]MySQLで、「Unknown command '\''.」ERROR - 屑プログラマの憂鬱](https://cdn-ak-scissors.b.st-hatena.com/image/square/d4ba8624508331564eedc651074062c08e7d10fd/height=288;version=1;width=512/https%3A%2F%2Fogimage.blog.st-hatena.com%2F12921228815711407952%2F12921228815711408957%2F1382837466)
データベースを作成する（文字コード指定） - MySQL 逆引きリファレンス
「CREATE DATABASE」に「CHARACTER SET」オプションを使用することで、データベースの文字コードを任意に設定することができます。 CREATE DATABASE データベース名 CHARACTER SET 文字コード 例えば、データベースの文字コードを「Shift JIS」に設定する場合、下記のようにオプションに「CHARACTER SET sjis」を指定します。 mysql> CREATE DATABASE mysql_test CHARACTER SET sjis; Query OK, 1 row affected (0.01 sec) ちなみに「SHOW」を使用して使用可能な文字コードの一覧を調べることができます。
使用可能（有効）な文字コードの一覧を調べる - MySQL 逆引きリファレンス
MySQL で使用可能な文字コードの一覧は SHOW CHARACTER SET で調べることができます。 SHOW CHARACTER SET Windows7 + MySQL5.6.21 で実行してみた結果は以下の通りです。 mysql> SHOW CHARACTER SET; +----------+-----------------------------+---------------------+--------+ | Charset | Description | Default collation | Maxlen | +----------+-----------------------------+---------------------+--------+ | big5 | Big5 Traditional Chinese | big5_chinese_ci | 2
php5.2とmysql5.1.19で質問です。 はずかしながら、以前のコーディングではうまくできたのに今回希望の処理が全く出来なくなってしまいました。…
php5.2とmysql5.1.19で質問です。 はずかしながら、以前のコーディングではうまくできたのに今回希望の処理が全く出来なくなってしまいました。 もとのソースがなくなってしまったので、原因を知りたく思います。 (ちなみに、サーバはXREAのものを使っています。) mysqlのDBをUNICODEで作成して、phpMyAdminからUTF8で開き、テーブルを作成、データを挿入しました。 (データには日本語の全角文字も含まれます。) そしてphpからmysql_connect->mysql_select_db->mysql_query->mysql_fetch_assocの順に処理して読み取りました。 読み取った日本語の内容をprintfで表示すると、?(はてな)に化けてしまいました。 ブラウザのエンコーディングをSJIS,EUC,JIS,UTF8、どれで表示しても全く同じ?(はてな)
POIを使用してJavaからExcelデータを読み込む
データ入力を行うには、Webブラウザや専用のGUI画面を使用することが一般的ですが、用途によっては、Microsoft Excelで作成したファイルからデータの読み込みを求められることがあります。そこで、本稿では「POI」を使用して、Excelファイルを読み込む方法を紹介します。なお、POIの基本については、「POIを使用してJavaからExcel出力を行う」をご覧ください。 今回は、Excelファイルを読み込み合計値を出力するというサンプルを実行します。 package to.msn.wings; import java.io.FileInputStream; import java.text.SimpleDateFormat; import java.util.Date; import org.apache.poi.hssf.usermodel.*; import org.apache
PHPのインストール - PIETRO TECHNIK GESCHICHTE
準備 † lexや画像を扱うライブラリ、XMLライブラリのインストール Debian apt-get install libxml2 libxml2-dev apt-get install flex RedHat?系 yum -y install flex libxml2-devel yum -y install zlib-devel libpng-devel yum -y install libjpeg-devel PHP自体もパッケージで入れるなら以下で終わり(yum,aptごちゃまぜ) # yum install php5 #apt-get install php5 libapache-mod-php5 develも入れておいた方が、拡張とかリビルドする時にいいかも # yum install php-devel 拡張も # apt-get install php4-pgsql #
PukiWiki 【FrontPage】
なんだかやけに長い説明ばかり検索に引っかかったので書きました。 Linuxのローカル環境でDockerコンテナ内のXアプリ（GUIアプリ）を利用するには $ xhost localhost + を実行した後に $ docker run --rm --net host -e "DISPLAY" container_image_name x_app_binary_path とすれば良いです。 もっと読む SSHなどよく知られたサービスポートで何も対策せずにいると数えきらないくらいの攻撃リクエストが来ます。不必要なログを増やしてリソースを無駄にし、もし不用意なユーザーやシステムがあると攻撃に成功する場合もあります。 SshguardはC作られており、flex/bisonのパーサールールを足せば拡張できますがカスタム版をメンテナンスするのも面倒です。必要なルールを足してプルリクエストを送ってもマー
CakePHP - Build fast, grow solid | PHPフレームワーク
New CakePHP 5.0 Chiffon. Faster. Simple. Delicious. What's new in version The migration guide has a complete list of what's new in. We recommend you give that page a read when upgrading. A few highlights from 5.0 are: PHP 8.1 required. Improved typehints across the framework. CakePHP now leverages union types to formalize the types of many parameters across the framework. Upgraded to PHPUnit 10.x
Infinity Dimensions Now Rebooting.
Infinity Dimensions Now Rebooting.
DOMAIN ERROR
ドメインウェブの設定が見つかりません 考えられる原因 ドメインウェブの設定がまだ行われていない。 ドメインウェブの設定がまだ反映されていない。(反映には数時間～24時間かかることがあります) ドメインウェブ・DNSの設定が誤っている。 アカウントが存在しない、契約が終了している、削除されている。
PHP programing
PHP プログラムとして Hello World * 7 さて、ここまでで説明したことを元に、もう一度 Hello World を表示するPHP ファイルを作ってみたいと思います。ただし、今度は、Hello World の後ろに 1 から 7 の数字を付けて Hello World を７回表示させます。実行した結果が、サンプルの様になれば OK です。 これを実現させるための方法はいくつかありますが、PHP の while 文を必ず使ってください。もちろん、PHP の機能なんか使わなくての可能ですが、復習という意味で、使ってみてください。サンプルソースを３つ載せておきます。別にこの通りでなくてもかまいません。まあ、サンプル３が一番普通でしょう。 Hello World * 7 サンプル１ (while と echo を使用) Hello World * 7 サンプル２ (while と P
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
sarabande.info
ＰＨＰの文字化けを本気で解決する - ぎじゅっやさん
phpiniの文字コードの設定 [データベース] All About![phpiniの文字コードの設定 [データベース] All About](https://cdn-ak-scissors.b.st-hatena.com/image/square/8f530daf3cb408d6b6a0ba6f38ed7ccece36cffc/height=288;version=1;width=512/https%3A%2F%2Fimg.aacdn.jp%2Faa%2Fcommon%2Fogp300_300.png)