HTML文書は文字エンコーディングUTF-8でなければなりません - 水底の血
さよならレガシーエンコーディング。 文字エンコーディング宣言が存在するかどうかにかかわらず、文書のエンコードに使用される実際の文字エンコーディングはUTF-8でなければならない。 4.2.5.5 文書の文字エンコーディングを指定する - HTML Standard 日本語訳 Require utf-8 when specifying character encoding by sideshowbarker · Pull Request #3091 · whatwg/htmlにより、HTMLで使用できるエンコーディングはUTF-8のみとなりました。これにより、古いHTMLでは許容されていた、Shift_JIS、ISO-2022-JP、EUC-JP、UTF16LEといった文字エンコーディングは適合するHTMLではなくなりました。すでにNu Html CheckerでUTF-8以外の文字エンコー
msysGit（Git for Windows）がいよいよ公式に UTF-8 をサポート！ - てっく煮ブログ
git最近、Git について勉強しています。Windows で Git をやるなら Cygwin と msysGit（Git for Windows） がメジャーなようです。Cygwin Git のいいとこ悪いとこCygwin は UTF-8 な日本語ファイル名にも対応しており、Cygwin の中で閉じて Git を使っている分には何不自由なく使えるのでお勧めです。ただし、次のような悲しいポイントがあります。 Cygwin 版 Git は、Windows 向けの GUI な Git ソフト(TortoiseGit や Git Extensions)との相性が悪い Windows のエディタやマージツールと連携しようとするとパスのポリシーが違うのでうまくいかないnkf を噛ませようとしても、Cygwin 用の nkf バイナリは公式配布されておらず、わざわざ Cygwin 上で make す
UTF-8ファイル名対応版 Git for Windows
お知らせ ('12/4/10) 「msysGit」「Git for Windows」v1.7.10が公開、UTF-8のファイル名に対応('12/4/10 窓の杜) ようやく本家 Git for Windows が UTF-8ファイル名に対応しました。このページで公開していた UTF-8 ファイル名対応 Git for Windows はこれでお役御免となります。一応、資料としてページはここに残しておきますが、今後は本家 Git for Windows をお使いください。 なお、本家にはここで公開しているパッチは取り込まれていません。本家のパッチは Karsteen Blees 氏によるものです。 やっている内容はここに記載した方針と少し違い、POSIX API レベルで差し替えるのではなく、mingw.c 内にある ANSI API 呼び出しを Unicode API に変更しているようで
Perl 5.8.x Unicode関連
-> 趣旨と注意書き -> UTF8フラグ？ -> UTF8フラグとPerlIOレイヤ -> UTF8フラグのついた文字列を記述する -> Wide character in print ... -> Encode -> utf8::* -> use utf8; -> use encoding; -> use UTF8 と use encoding -> JcodeからEncodeへ -> 情報源 <- モドル 趣旨と注意書き Perl 5.8.x のUnicode 関連です。 正直、5.8.x は、ネタでしか使ってなかったので(ぉ、ちゃんといじったことがありませんでした。 使ってみると、よくわかんなくなったので、ちょっとまとめてみました。 今でもあんまりわかってないかもしれないので、内容は無保証です。 突っ込み歓迎。 Jcode、Encodeのメンテナの弾さんから、ご指摘いただいたので、
mysql_enable_utf8 => 1 で DBIC::UTF8Columns 要らなくなるっぽい - 僕ト云フ事＠はてな出張版
追記です コメントとブクマで今のところ experimental と書いてあるよ！ と教えてもらいました。気づいてなかったです。id:nihen さん、コメントくれた人、ありがとう。 This option is experimental and may change in future versions. Catalyst::Wiki もこれ書いた方が良さそうですね。書けるのかな。 それにしても、DBD 側でできると良いに越したことないので、早く確定して欲しいですね！ 追記2 あー、でもこれ、4.00からずっとこのままだ。かれこれ2年くらい experimental なんですがw Catalyst::Wiki に書いて来ちゃったけどw ここから元の内容 lyokato さん経由で woremacx さんに教えてもらった Using Unicode - Catalyst::Wiki に書い
CPAN Authorになりました - 遥かへのスピードランナー
DBIx::Class::ForceUTF8というモジュールを作ってCPANにアップロードしました。 DBIx::Class::ForceUTF8 allows you to get columns data that have Unicode flag without specifying a column name. Best used with DBIx::Class::Schema::Loader. DBIx::Class::UTF8Columnsとよく似ているんですが、DBIx::Class::UTF8Columnsを使っていると、utf8として扱いたいカラム名をSchemaクラスの中で指定しなければいけません。僕の場合、Schemaの生成はDBIx::Class::Schema::Loader を使って、ほとんど自動化しているので、カラム名を１個１個指定するのが非常に面倒です。
UTF8 フラグあれこれ - daily dayflower
UTF8 フラグについてわかってるつもりだったんですが，utf8::is_utf8 considered harmful - Bulknews::Subtech - subtech を読んで混乱したので，自分なりにまとめてみました。間違いがありましたらご指摘よろしく。 まとめ スカラー変数の内部表象の状態を示すものとして UTF8 フラグというものがある スカラー変数は（リファレンス等は別として）下記のものを格納できる (A) 文字列（内部表象: UTF-8） (B) 文字列（内部表象: ISO-8859-1） (C) バイナリ列 純粋なバイナリストリーム（画像ファイル等）かもしれないし， UTF-8 octet stream かもしれないし， CP932 octet stream かもしれないし，etc, etc ... Perl は（後方互換性確保などの理由から）ISO-8859-1
hide-k.net#blog: Catalystでマルチバイトを取り扱うときのまとめ
#前に社内wikiに書いておいたのを公開してみるテスト。 Catalystでマルチバイトを扱う機会があるのは主に ユーザーがフォームで入力する値 ($c->req->param()) データベースからの入出力 (DBIx::Class) それ以外の文字列の評価 View::TTによる出力の生成 FillInFormによるフォームの埋め込み HTTPレスポンス です。 ここでは以下の条件でまとめてみました。 文字コードはUTF8に統一 データベースにはmysqlを使用 下準備 テンプレート、perlのコードは全てUTF8で書きます。 mysqlの文字コードの指定は/etc/my.cnfに [mysqld] default-character-set = utf8 skip-character-set-client-handshake [mysql] default-character-set
ウェブリブログ：サービスは終了しました。
「ウェブリブログ」は 2023年1月31日 をもちましてサービス提供を終了いたしました。 2004年3月のサービス開始より19年近くもの間、沢山の皆さまにご愛用いただきましたことを心よりお礼申し上げます。今後とも、BIGLOBEをご愛顧賜りますよう、よろしくお願い申し上げます。 ※引っ越し先ブログへのリダイレクトサービスは2024年1月31日で終了いたしました。 BIGLOBEのサービス一覧
Snow LeopardのMailはUTF-8のメールを量産する - 帰ってきた💫Unicode刑事〔デカ〕リターンズ
Apple Mail（Mail.app）がcharset=ISO-2022-JPのメッセージを表示する際の変換テーブルが、おかしい。 WindowsとMacでは、JIS X 0208に含まれる文字の範囲において、下図のようなUnicodeマッピングの相違が存在する。たとえばWindowsはJIS X 0208の1区33点「〜」（波ダッシュ）をU+FF5E FULLWIDTH TILDEと解釈し、Macは同じ文字をU+301C WAVE DASHと解釈する。 ところがMac OS X 10.6 Snow LeopardのMail 4.1（1076）は、Apple製の（そしてもちろんMac専用の）アプリケーションであるにもかかわらず、上図のすべての文字について、Windows側のマッピングによってcharset=ISO-2022-JPのメッセージを解釈する。 その一方でMailは、「Unico
UTF-8 の文字列を操作するための補助関数群 - Cube Lilac
UTF-8 の文字列を操作するための補助関数群を作ってみました．当初，find() などの特定の文字列を見つける部分の実装が面倒そうだなぁと思っていたのですが，UTF-8 の 2 バイト目以降には 1 バイト目に出現しうる値は出現しないのですね． ビットパターンは以下のようになっている。 0xxxxxxx (00-7f) 7bit 110yyyyx 10xxxxxx (c0-df)(80-bf) 11bit 1110yyyy 10yxxxxx 10xxxxxx (e0-ef)(80-bf)(80-bf) 16bit 11110yyy 10yyxxxx 10xxxxxx 10xxxxxx (f0-f7)(80-bf)(80-bf)(80-bf) 21bit UTF-8 - Wikipedia そんな訳で find() などは std::string の find() をそのまま使えば良さそう
UTF-8の冗長なエンコードとは何で、なんでそれがセキュリティ的に危ないのか？を文字コード知識レヴェル3くらいの凡プログラマが考えてみる - tohokuaikiのチラシの裏
何故かあたり前にならない文字エンコーディングバリデーション | yohgaki's blog ってあるように、いまいち文字コードの不正な判定による危険性ってのが分かってない。 SJISの問題は、（2/3）SQLインジェクションを根絶！セキュア開発の極意 - 第5回■注目される文字コードのセキュリティ問題：ITproの記事がわかりやすかった。 というか、やっぱりPHP使ってると誰でも一度は「なんじゃこの『￥』は？」って思うもんなんで。 なるほど、確かに↓の図のように「あるバイト」が2つの意味を持つっていう文字コード形態はやばいんだなと。 EUC-JPはそんなことはしないで、1つのバイトには1つの意味しか取らせない。 だけど、これでも文字化けが起こることがある。経験的には、「マルチバイトをXX文字で切り落としたい」とかやった場合。ちゃんと文字コードを判定してくれるPHPでいえばmb_subst
perl - use utf8; #って何だ? : 404 Blog Not Found
2009年06月15日07:00 カテゴリLightweight Languages perl - use utf8; #って何だ? id:otsuneに建設予定フラグがたてられていたので。 冬通りに消え行く制服ガールは、夢物語にリアルを求めない。 - subtech Perl の utf8 関係が未だ全く理解できない。わからないことがわからないので整理 use utf8はいつフラグをたてるか use utf8 しててもフラグたたないことがある…… これは、以下の実例を見ていただくのが一番よいだろう。 #!/usr/bin/perl use strict; use warnings; use utf8 (); sub check_flag{ my $str = shift; print qq("$str" ), utf8::is_utf8($str) ? 'is' : 'IS NOT',
どんぞこ日誌(2008-01-07)
* [Perl][メモ] JSON::XSのutf8とかasciiについて 2010-04-21追記： 本記事は内容が古く、わかりにくいものになっています。モジュール使ってみたけど文字化けして困る〜という方はこのページではなくこちらを参照ください。 kawa.netの川崎さんがPerl の JSON モジュールで日本語を含む文字列を扱う際の tips。 でJSON 2.x（つまりJSON::XS）のutf8関連について取り上げられていらっしゃいました。この新API、utf8()については、一応XS、PPともにドキュメントにどのような機能なのか書かれているのですが、それでもやはりわかりづらいところがあるかもしれませんので、簡単な補足説明をしたいと思います。最初に箇条書きにしますと、 1.x系の$JSON::UTF8とは違って、PerlのUTF8フラグとは直接関係ない入出力JSONデータがUT
Tomcatのディレクトリトラバーサル問題の調査ドキュメント「Apache-Tomcatと冗長なUTF-8表現」 | gihyo.jp
濃縮還元オレンジニュース Tomcatのディレクトリトラバーサル問題の調査ドキュメント「Apache-Tomcatと冗長なUTF-8表現」 Tomcat 6.0.16/5.5.26/4.1.37以下のバージョンにて発生するディレクトリトラバーサルの脆弱性について検証を行ったPDFドキュメントです。 この問題はserver.xmlまたはcontext.xmlに「URIEncoding=”UTF-8”」「allowLinking=”true”」という設定をしていた場合に起こります。Tomcat 4系以外は問題を修正した最新バージョンが公開されていますので、なるべく早めにバージョンアップを行ったほうがよいでしょう。 このドキュメントではまず「冗長なUTF-8表現」について説明しています。冗長なUTF-8表現とは、本来1バイトや2バイトで表現できる文字を2バイト、3バイトで表すこと
Perl で utf8 化けしたときにどうしたらいいか - TokuLog 改メ tokuhirom’s blog
Blog Search when-present<#else>when-missing. (These only cover the last step of the expression; to cover the whole expression, use parenthesis: (myOptionalVar.foo)!myDefault, (myOptionalVar.foo)?? ---- ---- FTL stack trace ("~" means nesting-related): - Failed at: ${entry.path} [in template "__entry.ftlh" at line 3, column 25] - Reached through: #include "__entry.ftlh" [in template "entry.ftlh" at
もじら組 - 日本で最初の Mozilla コミュニティ
お知らせ 2021.03.06 2020年3月7日、サーバー定期点検のため、終日サービスが停止いたします。ご了承ください。 2020.11.15 もじら組フォーラムを老朽化のため、オープンソースフォーラムに切り替えます。オープンソースフォーラムへのリンクはこちら 2020.02.27 2020年2月28日-3月2日、サーバー定期点検のため、終日サービスが停止いたします。ご了承ください。 2016.10.13 ホームページをリニューアルしました。
url に日本語が含まれている場合の Firefox と IE の挙動の違い。
現在，トラックバックを管理するサービスを構築中なのですが併せてテクノラティとの連携（tagの利用）を進めている中で，困った問題が出てきました。 というのは，テクノラティは http://www.technorati.com/tag/**** というuriで，**** という tag を持つ blog の一覧にアクセスすることができるのですが，**** の部分が日本語だと正常に tag の文字情報が認識されません。 e.g. http://www.technorati.com/tag/日本丸 → http://www.technorati.com/tag/%93%FA%96%7B%8A%DB %93%FA%96%7B%8A%DB はshift-jisの文字列に対するurlエンコード結果なのですが，テクノラティで直接検索窓を利用した結果は，「%E6%97%A5%E6%9C%AC%E4%B8%B
Life with Cygwin
沖ソフトウェア株式会社は、沖通信システム株式会社および株式会社沖インフォテックと平成22年10月1日をもって合併いたしました。新会社名は、株式会社OKIソフトウェアとなります。3社が行っております事業は新会社にて従来通り継続いたします。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Mysql charset
