PEP 263 – Defining Python Source Code Encodings | peps.python.org
PEP 263 – Defining Python Source Code Encodings Author: Marc-André Lemburg <mal at lemburg.com>, Martin von Löwis <martin at v.loewis.de> Status: Final Type: Standards Track Created: 06-Jun-2001 Python-Version: 2.3 Post-History: Table of Contents Abstract Problem Proposed Solution Defining the Encoding Examples Concepts Implementation Phases Scope References History Copyright Abstract This PEP pro
Encode 日本語などのマルチバイト文字列を適切に処理する - Perl入門〜サンプルコードによるPerl入門〜
Perl › モジュール › here 日本語などのマルチバイト文字をPerlで適切に扱うにはEncodeモジュールを使用します。次の3つのことを覚えておけば多くの場合適切に日本語を扱うことができます。 外部から入力された文字列はEncodeモジュールのdecode関数でデコードする 外部へ出力する文字列はEncodeモジュールのencode関数でエンコードする ソースコードはUTF-8で保存しutf8プラグマを有効にする この解説での用語 この解説では外部から入力された文字列のことを「バイト文字列」と呼ぶことにします。Perlの内部表現に変換された文字列を「内部文字列」と呼ぶことにします。また「バイト文字列」が特定の文字コードで記述されている場合は「UTF-8バイト文字列」「Shift_JISバイト文字列」などと呼ぶことにします。 プログラミングで日本語を扱う場合にその文字列がバイト文字
UnicodeとUTF-8の違いは？ - Humanity
という2chのスレがかなり勉強になったのでまとめ。 少しでも有用だと思ったものは載せてあるので結構長いです。 Unicodeのような文字集合(符号化文字集合？)やUTF-8のようなエンコーディング方式に限らず色んな文字コードにまつわる話があります。 たびたび話が繰り替えされますがそれは確認ということで。 (元スレ) 追記：簡単にまとめました。 1 ：デフォルトの名無しさん：2007/04/30(月) 20:02:37 ビッグインディアンとかなんとかかんとか 3 ：デフォルトの名無しさん：2007/04/30(月) 20:05:48 また、頭の悪そうなスレが・・・ >>1 それは魚とマグロの違いを訊ねるようなもんだ。 4 ：デフォルトの名無しさん：2007/04/30(月) 20:06:49 魚と鮪というよりは、魚と刺身の違いのような気がする。 5 ：デフォルトの名無しさん：2007/04/
Macのターミナルでサーバごとに異なる文字エンコーディングで接続する方法 - 豆無日記
Macのターミナルでは、[環境設定 > 設定 > 詳細 > 文字エンコーディング]で任意の文字エンコードを指定できます。 が、ターミナル全体でグローバルな1つの設定しかないので、同時に文字コードの異なる複数のサーバに接続するときにイライラすることになります。 ウィンドウとかタブを切り替えるたびに、環境設定をいじるとかありえません。 で、結構イライラがたまってきてたので、cygwinで使ってるcocotみたいなのがないんかな、と探してみたらすぐみつかりました。 cocotとは 端末(tty)とプロセスの間に割り込んで、文字コード変換を行うツール です． これは非常に便利です． MacPortにはあるので sudo port install cocot とすれば，いい． まだまだEUC-JP環境はありますし，いれておくといいでしょ． http://newapplesho.blogspot.co
#perl - utf8::decode()ではなくEncode::decode_utf8()を使うべき理由 : 404 Blog Not Found
2009年09月13日13:00 カテゴリLightweight Languages #perl - utf8::decode()ではなくEncode::decode_utf8()を使うべき理由 駄目です。 [を] Perl の utf8 まわりのおまじない 最近良く使うおまじない、というかイディオム。 utf8::decode($text) unless utf8::is_utf8($text); こういう場合は、Encode::decode_utf8()でないと。 以下をごらんください。 #!/usr/bin/perl use strict; use warnings; use Encode; use Devel::Peek; for my $bytes ( "\x2F", "\xC0\xAF", "\xE0\x80\xAF", "\xF0\x80\x80\xAF" ) { my $u
Macのバックスラッシュと円マークの違いの洗礼を受けた - @kyanny's blog
知識として知ってはいたけど、JISキーボードを使ってないせいもあっていままでハマらなかったが、今日ついにMacのバックスラッシュと円マークの違いの洗礼を受けた。 細かいことはここなどに詳しい。 7 | 2004/06/06 05:02:40 | 確認待ち | 保留 | 中 | 重大 | 未定 これには複雑な事情があります。 まず、Macでのクリップボードとのやりとりには、UTF-16またはMacJapaneseが使わ れます。 Emacsの場合はMacJapaneseです。 MacJapaneseとUnicodeでは、次のような変換が行われます。 \x5C |0 # YEN SIGN \x7E |0 # TILDE # Apple change from standard Shift-JIS \x80 |0 # REVERSE SOLIDUS # Apple addition; chang
perl - use utf8; #って何だ? : 404 Blog Not Found
2009年06月15日07:00 カテゴリLightweight Languages perl - use utf8; #って何だ? id:otsuneに建設予定フラグがたてられていたので。 冬通りに消え行く制服ガールは、夢物語にリアルを求めない。 - subtech Perl の utf8 関係が未だ全く理解できない。わからないことがわからないので整理 use utf8はいつフラグをたてるか use utf8 しててもフラグたたないことがある…… これは、以下の実例を見ていただくのが一番よいだろう。 #!/usr/bin/perl use strict; use warnings; use utf8 (); sub check_flag{ my $str = shift; print qq("$str" ), utf8::is_utf8($str) ? 'is' : 'IS NOT',
はてなグループの終了日を2020年1月31日(金)に決定しました - はてなの告知
はてなグループの終了日を2020年1月31日(金)に決定しました 以下のエントリの通り、今年末を目処にはてなグループを終了予定である旨をお知らせしておりました。 2019年末を目処に、はてなグループの提供を終了する予定です - はてなグループ日記 このたび、正式に終了日を決定いたしましたので、以下の通りご確認ください。 終了日: 2020年1月31日(金) エクスポート希望申請期限:2020年1月31日(金) 終了日以降は、はてなグループの閲覧および投稿は行えません。日記のエクスポートが必要な方は以下の記事にしたがって手続きをしてください。 はてなグループに投稿された日記データのエクスポートについて - はてなグループ日記 ご利用のみなさまにはご迷惑をおかけいたしますが、どうぞよろしくお願いいたします。 2020-06-25 追記 はてなグループ日記のエクスポートデータは2020年2月28
はてなグループの終了日を2020年1月31日(金)に決定しました - はてなの告知
はてなグループの終了日を2020年1月31日(金)に決定しました 以下のエントリの通り、今年末を目処にはてなグループを終了予定である旨をお知らせしておりました。 2019年末を目処に、はてなグループの提供を終了する予定です - はてなグループ日記 このたび、正式に終了日を決定いたしましたので、以下の通りご確認ください。 終了日: 2020年1月31日(金) エクスポート希望申請期限:2020年1月31日(金) 終了日以降は、はてなグループの閲覧および投稿は行えません。日記のエクスポートが必要な方は以下の記事にしたがって手続きをしてください。 はてなグループに投稿された日記データのエクスポートについて - はてなグループ日記 ご利用のみなさまにはご迷惑をおかけいたしますが、どうぞよろしくお願いいたします。 2020-06-25 追記 はてなグループ日記のエクスポートデータは2020年2月28
Converting Character Sets
All of Percona’s open source software products, in one place, to download as much or as little as you need.
Emoji Symbols: Background Data
Background data for Proposal for Encoding Emoji Symbols L2/09-027R Date: 2009-Feb-06 Authors: Markus Scherer, Mark Davis, Kat Momoi, Darick Tong (Google Inc.) Yasuo Kida, Peter Edberg (Apple Inc.) The carrier symbol images in this file point to images on other sites. The images are only for comparison and may change. See the chart legend for an explanation of the data presentation in this chart
Ring
Ringとは、リクルートグループ会社従業員を対象にした新規事業提案制度です。 『ゼクシィ』『R25』『スタディサプリ』など数多くの事業を生み出してきた新規事業制度は、 1982年に「RING」としてスタートし、1990年「New RING」と改定、そして2018年「Ring」にリニューアルしました。 リクルートグループの従業員は誰でも自由に参加することができ、 テーマはリクルートの既存領域に限らず、ありとあらゆる領域が対象です。 リクルートにとって、Ringとは「新しい価値の創造」というグループ経営理念を体現する場であり、 従業員が自分の意思で新規事業を提案・実現できる機会です。 Ringフロー その後の事業開発手法 Ringを通過した案件は、事業化を検討する権利を得て、事業開発を行います。 さまざまな事業開発の手法がありますが、例えば既存領域での事業開発の場合は、 担当事業会社内で予算や
エンコーディング検出ライブラリ「encdet」をリリース - spiritlooseのはてなダイアリー
さて、久しぶりなわけですが。 タイトルの通りリリースしました。 http://wiki.github.com/spiritloose/encdet http://github.com/spiritloose/encdet/tree/master Mozillaの「Mozilla Universal Charset Detector」というやつのCバインディングです。 MozillaのMercurialリポジトリからコピってきて、Cのインターフェースをつけてautotools化してみました。 http://www.void.in/wiki/Universalchardet っていうのもあったんですが、本家の方が結構変わってたり、 autotools化したかったり、もろもろあったので作りました。 今のところ LinuxとFreeBSDで動作確認してます。 #include <encdet.h>
perl - use encoding; #は黒歴史 : 404 Blog Not Found
2009年06月08日14:30 カテゴリLightweight Languages perl - use encoding; #は黒歴史 ぎゃあぁぁ length関数で文字列の長さを求める - perl初心者BLOG - Hatena::Group::Perl 日本語の文字数を正確に求めたい場合、use encodingを指定する use encoding;は、jperlなど、かつて存在したL10Nされたperl用に書かれたレガシースクリプトを、モダンperlで動かすときのためのおまじないです。こういう目的で利用すべきではありません。 このあたりのことは、以前 404 Blog Not Found:perl - no encoding; # whenever possible でも書いたのですが、大事なことなのでまた書きます。 スクリプトはUTF-8で書き、use utf8;する のがモ
Encode::compat::MIME::Header::ISO_2022_JP つーモジュールをでっちあげた - kazuhoのメモ置き場
perl 5.8.7 以前かつ Encode のバージョンアップできねーみたいな環境でも互換性を保ちながら書けるように。 use Encode; use Encode::compat::MIME::Header::ISO_2022_JP; my $subject = encode('MIME-Header-ISO_2022_JP', '日本語の件名'); みたいな感じ。コピペプログラミング万歳。コードは http://coderepos.org/share/browser/lang/perl/Encode-compat-MIME-Header-ISO_2022_JP/ に置いてあります。 アドバイスをくれた id:miyagawa++ id:tokuhirom++ Encode メンテナの id:dankogai++ Encode::MIME::Header::ISO_2022_JP コピ
携帯でcaféのéを表示できるのか！？ | 株式会社シンメトリック公式ブログ - 携帯開発から生まれる技術情報
○：「한」表示 ×：「?」表示もしくは文字化け、もしくは非表示 残念ながら韓国語は全滅！ でもサムスン携帯ならハングル文字も入力できるから、ハングルフォントを内蔵している。ひょっとするとブラウザでも表示できるのかも！？手元にサムスン携帯がないので、試せないのが残念でならない・・・。 キャラクタエンコーディングの国際化 ひと昔前までは、携帯のキャラクタエンコーディングと言えばShift_JISしか考えられなかった。けど、今やUTF-8・Shift_JISの両方に対応した端末が主流になった。 キャラクタエンコーディングの対応状況についてもみてみたい。 UTF-8エンコーディング UTF-8エンコーディングは既に実機で実験済み。というのも、フランス語のページを作るとき、同じページ内に日本語も入れておいたからだ。 結果から言うと、エンコーディングがUTF-8でも全機種で日本語表示
Terminal
Mac OS X ターミナルでの日本語の扱いについて 2005/05/09 Update ◆ はじめに Mac OS X v10.2（以降）のターミナルは、UTF-8に対応し、多言語の表示が可能となった。 -vオプション付きでlsコマンドを実行するとUTF-8で記録された日本語名のファイルやフォルダも正しく表示される。 しかし、デフォルトの状態ではコマンドラインへの日本語の直接入力に対応していないため使いにくい。 本ページは、Mac OS Xのターミナルで日本語を扱う際の設定等をまとめたものである。 OSのバージョン固有の設定は[10.4]のように表記している。 特に指定の無いものはバージョン共通の設定である。 なお、Mac OS X v10.2ではデフォルトのシェルがtcshであったが、Mac OS X v10.3以降ではbashに
wakaponさんの超☆Perl備忘帳: utf8フラグについて
microperlでutf8フラグが本番perlと同じ扱いうけてるのかを調べつつ，Perlにおけるunicode対応についてうわべだけをまとめてみるてｓｔ．とりあえずuse utf8とutf8::decode/encodeから切り込んでみた．文中ではutf8からはいふんぬきぬきしてます．表記としてutf-8が正しいです．たぶん．なお，今回の内容は変数の値に対するめもりんぐで，サブルーチン名や変数名に対する効果については触れないです．プラグマモジュールutf8プラグマモジュールutf8を使うと，ランタイムコンパイラのlexerに入力されるプログラムにある文字列定数の中に，文字コードがマルチバイトで構成される文字が入っていた場合，その文字列に対し，utf8フラグが付加される．5.10.0の実装では，struct svのflagsのSvUTF8ビットが立つ．プログラマはutf8フラグによって，マ
tokuhirom blog
Blog Search when-present<#else>when-missing. (These only cover the last step of the expression; to cover the whole expression, use parenthesis: (myOptionalVar.foo)!myDefault, (myOptionalVar.foo)?? ---- ---- FTL stack trace ("~" means nesting-related): - Failed at: ${entry.path} [in template "__entry.ftlh" at line 3, column 25] - Reached through: #include "__entry.ftlh" [in template "entry.ftlh" at
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://d.hatena.ne.jp/Yuichirou/20090612