tips - Mac OS X - には iconv も piconv も入っている : 404 Blog Not Found
2009年05月31日18:45 カテゴリTipsLightweight Languages tips - Mac OS X - には iconv も piconv も入っている PythonともMeCabとも関係なくてごめんなさい。 MeCabの辞書にはてなキーワードを追加しよう - 不可視点 *1：Xcodeを入れたMacOSX 10.5.7でも手順通りに進むことを確認しましたがnkfがデフォルトでは入っていないのでsudo port install nkfしてください。 でも、ちょっとここが気になったので。 Mac OS X には、実は iconv も piconv も入っているので、文字コード変換だけしたければ、XCodeさえ不要です。 使い方も、nkfよりはわかりやすい。例えば UTF-8 を EUC-JP に変換するには、 % iconv -f utf8 -t eucjp また
tips - 十まで数える二千百一の方法 : 404 Blog Not Found
2009年05月01日18:15 カテゴリTips tips - 十まで数える二千百一の方法 絶望した!誰も「笑」ってないことに絶望した! 斬新な数の数え方を考えた。 - NaokiTakahashiの日記 よく「正」って字を書いて数を数えるでしょ。一画ずつかいて、ひとつで５。 あれを「殺」って字にしたら一文字で１０数えられるんじゃないかとさっき思いついた。十画だから。で、十数えた、じゃなかった笑った後に、気になったわけです。十画の字ってどれだけあるだろうか、と。 こんなにありました。 㑣㑥㑦㑧㑨㑩㑪㑫㑬㑭㒭㓐㓑㓒㓬㓭㓮㓯㓰㔝㔞㔟㕋㕌㕍㕖㖏㖐㖑㖒㖓㖔㖕㖖㖗㖘㖙㖚㖛㖜 㖝㖞㘣㘿㙀㙁㙂㙃㙄㙅㙆㛍㛎㛏㛐㛑㛒㛓㛔㛕㛖㛗㛘㛙㛚㛛㛜㛝㛞㛟㛡㛢㛣㛤㝂㝃㝗㝘㝙㝚 㝶㝸㞂㞗㟇㟈㟉㟊㟋㟌㟍㟎㟏㟐㟑㟒㟓㟔㟕㟖㠫㠬㡇㡈㢃㢄㢅㢆㢇㢸㢹㣢㣣㤟㤠㤣㤩㤪㤫㤯 㤱㤳㤴㤶㤷㤸㤹㤼㤽㦴㦵㦶㧬㧭㧱㧲㧴㧵㧶㧷㧸㩻㩼㪇㪈㪉㪰㪶㪾㪿㫅
tips - "%E5%BC%BE" を「弾」にするには? : 404 Blog Not Found
2009年05月01日14:00 カテゴリTipsLightweight Languages tips - "%E5%BC%BE" を「弾」にするには? これ、昨今では最もよく再発明されている車輪の一つかも。 検索サイトなどのURL中に含まれる「％＋１６進」の形にエンコードされた日本語文字列（例えばI%E3%82%B7%E3%83%A1%E3%82%B8I）を、LinuxのCUI上でデコードする簡単な方法は.. - 人力検索はてな 最古の文字コード変換プログラムの一つであるnkfが対応していたとは知らなかった。 JavaScriptで decodeURIComponent()を使えばOKです。以下、例。 Decoded: Encoded: <dl> <dt>Decoded:</dt> <dd><input id="uri.decoded" type="text" size="64" val
そろそろUnicodeについて一言いっておくか - 未来のいつか/hyoshiokの日記
文字コードの標準化について日記を書いたのだが、内容がいまいちだったのでボツにして気を取り直してUnicodeについて一言いっておくことにする。先日、といっても昨年(２００８年)の10月なんだけど、その中でちょと文字コードの標準化について話をしている。*1 もう1つ自分の経験としてあるのが、漢字の文字コードがあるんですけど、番号で言うとJIS X 0208とか0212とか規格の番号で皆言うわけなんですけど、実は1988年にその日本語の文字コードの改正の委員会にいたんですね。 その当時、私は 30歳ぐらいなんですけど、「富士通」とか「日立」とか「NEC」の部長さんぐらいの偉い人たちが来てて、私なんか外資系で且つ30前後のぺーぺーだから、全然格下なんですよ。 そういうところで議論の主軸を担ってるのは、「富士通」「日立」「NEC」「日本IBM」「東芝」「沖」、外資でいえば「ユニシス」とかの錚々たる
バイナリとテキストの本当の違い : 404 Blog Not Found
2009年04月09日00:15 カテゴリLightweight LanguagesCode バイナリとテキストの本当の違い うーむ、Wikipediaですら「見た目」の違いしか説明していない。 バイナリ - Wikipedia コンピュータが扱うすべてのデータはバイナリデータ（バイトの並び）であり、プレーンテキスト（または単にテキスト）もバイナリデータの一種ではあるが、通常バイナリとテキストは対比して用いられる。テキストとはデータの内容すべてを人間が読んで理解できる (human-readable) 表現形式を指し、バイナリとはそうでない表現形式を指すことが多い。 Binary file - Wikipedia, the free encyclopediaA binary file (.bin) is a computer file which may contain any type
絵文字が開いてしまった「パンドラの箱」第1回--日本の携帯電話キャリアが選んだ道
Unicodeが携帯電話の絵文字を収録へ 絵文字ってなに？そう聞かれても多くの人は、ああ、それはと答えられるはず。そう言えばちょっと前に『メールのハートマークにだまされるな！ 8割の女性は「恋人以外にも使う」』（RBB NAVI）なんていうニュースもありました。携帯電話の個人普及率が9割を上回る（平成20年内閣府消費動向調査）この国において、絵文字はごくありふれたものになっている現実があります。 2008年の11月27日、Googleが携帯電話で使われる絵文字を国際的な文字コード規格、Unicodeに収録しようというプロジェクト進行中であることを発表しました。では、このニュースは何を意味するのでしょう。そして私たちに何をもたらすのでしょう。今回から3回に分けて考えてみようと思います。 まず歴史を振り返ってみましょう。じつは絵文字を使ったのは携帯電話が最初というわけでありません。先行するもの
【レポート】Unicode Emoji Symbol提案、絵文字がPCで活用される日 | エンタープライズ | マイコミジャーナル
Emoji comming to Unicode? いつの日か過去の出来事を検証するとしたら、26日(米国時間)はPCと日本の携帯を結びつける日として節目の日となるかもしれない。GoogleとそのほかのUnicode Consortiumのメンバーは絵文字シンボル文字をUnicodeに追加する作業を進めていたが、26日にGoogleからそのことが発表された。日本で、特に携帯関連のメールやWebサービスの開発に従事している開発者は興味深くこの発表を受け止めたようだ。 日本で携帯電話として成功するには少なくとも日本語対応以外にも絵文字に対応する必要があると見られている。ワンセグ対応や財布機能が端末購入時の判断基準になることも多いが、絵文字を使った携帯メールになれたユーザにとって携帯と絵文字は切っても切れない関係にある。 ドコモ、KDDI、ソフトバンクのそれぞれが絵文字を提供しているが、各社はそ
携帯の文字コードと絵文字の基礎知識 Mobile/Encoding - CodeRepos::Share - Trac
携帯の文字コードと絵文字の基礎知識 説明 これは日本の携帯電話の文字コードと絵文字まわりの仕様をまとめた資料です。Encode::JP::Mobile の開発の中で作成されました。 記述に関してはできるだけ公式資料の URL を併記していますので合わせて参照してください。公式資料に言及されていない内容については [unofficial] を併記してあります。 修正・追記歓迎です。 DoCoMo 絵文字リスト: 基本 http://www.nttdocomo.co.jp/service/imode/make/content/pictograph/basic/index.html 拡張 http://www.nttdocomo.co.jp/service/imode/make/content/pictograph/extention/index.html DoCoMo Web 表示できる c
絵文字のユニコード符号化: 符号化提案用のオープンソースデータ
メディア関係者向けお問い合わせ先 メールでのお問い合わせ: pr-jp@google.com メディア関係者以外からのお問い合わせにはお答えいたしかねます。 その他すべてのお問い合わせにつきましては、ヘルプセンターをご覧ください。
Mac OS Xの文字コード問題に関するメモ
文字情報基盤（Moji_Joho）のIVS登録にともなう公開レビュー（PRI 259）にコメントした。PDFはこちら。日本語。もう、最初から最後まで日本語。 安岡孝一さんが挙げていた（yasuokaの日記：文字情報基盤のIVS登録第1弾）ような「Hanyo-DenshiとMoji_JohoでIVSをシェアしようとしてるが、グリフに差異が見られる例」については、いくつか見つけたものの、リストの最初のほうしかチェックできなかったので、言及するのを断念。他にも、CJK互換漢字グリフの扱い、Ken Lundeさんが挙げていた（CJK Type: PRI 259）U+6723とU+81A7の問題など、いろいろ論点はあると思うが、今回はスルーした。 iPhoneや携帯における絵文字の扱いに関して、SoftBankへの要望がいくつかあるので（それから、先日コメント欄でお願いされたので）、メモ。 その1・
perl - Encode 中級 : 404 Blog Not Found
2008年05月08日04:00 カテゴリLightweight Languages perl - Encode 中級 以前書いた 404 Blog Not Found:perl - Encode 入門 は大好評でしたが、 ウェブで利用される文字コード、UnicodeがASCIIを上回る--グーグルが明らかに:マーケティング - CNET Japan UnicodeがASCIIを追い越し、World Wide Web上で最も多く利用されている文字コード体系になったとGoogleのシニアインターナショナルソフトウェアアーキテクトMark Davis氏がブログで述べている。 という時代に完全対応するには、入門以上の知識がちょっと必要になります。 例えば、本blogをホストしてくれているlivedoor blogの文字コードはEUC-JP。「時代はUnicode」だと言っても、こうした事情もまだ
Unicode - 似た文字同士にご用心 : 404 Blog Not Found
2008年05月02日04:00 カテゴリLightweight Languages Unicode - 似た文字同士にご用心 後者はハイフンでなくてマイナス記号でんがな。 [を] UTF-8 の全角ハイフンが Perl の正規表現にマッチしなくて悩んだ で、元のテキストファイルの全角ハイフンを「od -t x1」 で見てみると「ef bc 8d」と「e2 88 92」の２種類が混じっていました。 前者は「\p{Hyphen}」にマッチするのですが後者はダメ。 まあ原因は分かったので、前処理でバイナリ置換して解決しました。 で、紛らわしそうなのを名前のHYPHENとMINUS SIGNでgrepするとこんな感じになる。 egrep '(HYPHEN|MINUS SIGN)' /usr/local/lib/perl5/5.10.0/unicore/Name.pl -002DHYPHEN-MI
iTunesあるいはSoundJAMのID3タグにおける日本語の扱いの混乱について
おくればせながら、この件に関する情報はかなり不正確なものが多いようなので。 1. 問題の本質 端的に表現すればID3v1.0/v1.1のタイトル名、アルバム名、アーティスト名に使う文字コードに何を使うかの問題です。現実として、Windows向けのツールは全てAPIネイティブな文字コードをそのまま入れています。ほとんどのツールは欧米で作成されているため、事実上そこに入っている文字コードはWindows-1252（Windows西欧、Code Page 1252、Windows ANSI文字コード表）と想定されます。 iTunesはMacintoshのソフトなので、欧米ではMacRomanと呼ばれるApple拡張ASCIIコードがAPIネイティブな文字コードであり、それをLatin-1（ISO-8859-1）に変換してID3タグを作成します。 Windows-1252はISO-8859-1のス
404 Blog Not Found: get($one) if $you =~ /regexp user/;# 書評 - 入門正規表現
2008年03月07日00:00 カテゴリ書評/画評/品評Lightweight Languages get($one) if $you =~ /regexp user/;# 書評 - 入門正規表現 技術評論社書籍編集部池本さんより献本御礼。 入門正規表現 岩谷宏 初出2008.03.05;販売開始まで掲載 404 Blog Not Found:書評x3 - SQL本三大対決言語内言語としてこれだけ使われるようになったSQL。そうするともう一つの言語内言語、正規表現が気になる。しかしこちらの方はSQLと違って、現在のところ「フクロウ本」の一人勝ちのように思える。誰か書かない? キタコレ！それも想定の範囲内の出版社と、想定の範囲外の著者の組み合わせで。 本書「入門正規表現」は、タイトルどおりの本。正規表現に関しては今まで「フクロウ本」こと「詳細 正規表現」がほぼ唯一の選択肢だったが、原著も訳
Ligatures
リガチャは、例えば上の例のように“f”と“i”や“f”と“l”がぶつかってしまうのを防いで読みやすくするための仕組みです。他にも“T”と“h”のような組み合わせもありますが、ぶつかるかどうかはフォントのデザイン次第です。リガチャは活字の時代からありました。当時は人が活字を組みながら特定の組み合わせのときは合字と入れ替えていたのでしょう。コンピュータはこれを自動化してくれますが、自由な組み合わせで効率よく自動化できるようになったのはApple Advanced Typography (AAT)やOpenType フォントのおかげなのです。この仕組みをさらに応用して筆記体のScript フォントもきれいにつながるようになります。 極めつけはMac OS X に標準で入っているZapfino® というフォント（AATフォント）。“Zapfino”と入力するとZapfino のロゴに変身します。こ
Unicodeは文字集合か符号化方式か : 404 Blog Not Found
2006年11月24日12:30 カテゴリLightweight Languages Unicodeは文字集合か符号化方式か 以下は、電脳で文字を扱う場合の基礎中の基礎なのだが、肝心の記事に重大な誤りがいくつもある。 文字コード規格の基礎：ITpro そろそろ具体的な説明に入ろう。最初にはっきりさせておく必要があるのは次の点だ。一般に「文字コード」と言う場合， 文字の集合 エンコード方法 という要素がある。この二つを区別して考えることが重要だ。もちろん大きな関連はあるのだが，ごちゃごちゃのままでは「わからなく」なる大きな要因となる。ここだ。 これによると、Unicodeは明らかに「エンコード方法」であるが、これは間違い。ここで書かれているものはUCS-2という名前のUnicodeが定めるいくつかの「エンコード方法」の一つであり、しかもUTF-16によって陳腐化した方式である。 まずUnic
Rubyist Magazine - 標準添付ライブラリ紹介 【第 3 回】 Kconv/NKF/Iconv
『るびま』は、Ruby に関する技術記事はもちろんのこと、Rubyist へのインタビューやエッセイ、その他をお届けするウェブ雑誌です。 Rubyist Magazine について 『Rubyist Magazine』、略して『るびま』は、日本 Ruby の会の有志による Rubyist の Rubyist による、Rubyist とそうでない人のためのウェブ雑誌です。 最新号 Rubyist Magazine 0058 号 バックナンバー Rubyist Magazine 0058 号 RubyKaigi 2018 直前特集号 Rubyist Magazine 0057 号 RubyKaigi 2017 直前特集号 Rubyist Magazine 0056 号 Rubyist Magazine 0055 号 Rubyist Magazine 0054 号 東京 Ruby 会議 11 直
BabelStone: A Brief History of CJK-C
In Memoriam Paul Thompson (2007-06-12) 騰蛇游霧，飛龍乘雲，雲罷霧霽，與蚯蚓同，則失其所乘也。 My friend Asmus Freytag (who has just retired from active participation in Unicode after many years of dedication to Unicode and WG2) recently bemoaned the total lack of interest in CJK-C on the public Unicode mailing list. Whilst it is true that there has been little overt interest in the latest addition to the already huge collec
BabelStone: What's new in Unicode 5.1 ?
* Numbers of characters do not necessarily represent the total number of encoded characters used for the script (and are not necessarily the same as the number of characters in the same-named block), but are the number of characters that are uniquely assigned to that script by Unicode (i.e. excluding characters that have the Unicode script property of "common" or "inherited"). Some differences in
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ケータイの絵文字はどこまでズレるのか - 帰ってきた💫Unicode刑事〔デカ〕リターンズ
