Python 3.15からデフォルトのエンコーディングがUTF-8になります - methaneのブログ
Pythonがファイルを開くときなどに使われるエンコーディングはロケール（WindowsではANSIコードページ）依存でした。 Unixの世界ではどんどんUTF-8ロケールが一般的になっている一方、WindowsのANSIコードページはなかなかUTF-8になりません。 そのために、Unixユーザーが open(filepath) のようにエンコーディングを指定しないままUTF-8を仮定するコードを気軽に書いてしまって、Windowsユーザーがエラーで困るといった問題が発生します。 また、Windowsでもメモ帳（Notepad.exe）やVSCodeはすでにUTF-8をデフォルトのエンコーディングで使用しています。ANSIコードページがUTF-8になるのを待っていたらどんどん周りの環境から置いていかれ、レガシー化してしまいます。 Pythonがデフォルトで利用するエンコーディングをWind
UTF-8のテーブル(MySQL5.6)に竈門禰󠄀豆子が格納できない問題を調べてみた - Qiita
竈門禰󠄀豆子をMySQL5.6のテーブルにinsertしようとすると正しく格納できず、竈門禰となってしまうケースがあるという話を聞き、調べてみました。 実践 まずは試しにやってみます。 mysql> show create table verification\G *************************** 1. row *************************** Table: verification Create Table: CREATE TABLE `verification` ( `name` varchar(100) COLLATE utf8_bin DEFAULT NULL ) ENGINE=InnoDB DEFAULT CHARSET=utf8 COLLATE=utf8_bin 1 row in set (0.01 sec) mysql> inse
BOMなしUTF-8によってWindowsでもたらされる困惑 (1/2)
かつてWindowsでテキストファイルといえばシフトJIS形式のものが大半だった。しかし最近では、UTF-8形式のテキストファイルも普通に見かけるようになってきた。世の中はUTF-8が主流になりつつあると言っていいだろう。 しかし、WindowsでUTF-8を使うと、ちょっと困ったことがある。それは、エクスプローラーの検索欄などで用いるWindows Searchが、UTF-8にはしっかり対応していないのである。正確に言うと、Windows Searchはファイル先頭に「BOM」のあるUTF-8は認識して正確にインデックス化し、ファイルの全文検索が可能になるが、BOMのないUTF-8では正しくインデックス化できず、ファイルの全文検索はASCIIコードのみ可能で、日本語などの非ASCII文字では全文検索ができない。 同じ内容のテキストをUTF-8、UTF-8 BOM付き、UTF-16ビッグエ
UTF-8の４バイト文字「土の異体字」を処理してくれない | Webシステム開発／教育ソリューションのタイムインターメディア
今では多くのソフトがUTF-8を標準として採用し、たとえ英語圏で開発されたソフトでも日本語処理に困らないことが多い。 しかし、それは、３バイトの漢字までで、４バイトになってしまう「土の異体字 」は扱えないことに出くわすことが多い。 最近、世のブームに引きずられてという訳ではないのだが、AI、言語処理系の何かをするとき、Pythonはツールが揃っているので使うことが多い。 Python自体は、４バイトの漢字も扱えるのだが、Pythonに非常にたくさんあるパッケージの中には扱えないものもある。 Pythonで文字処理をしていたのだが、GUIを用意しないと不便だなと思い、PythonのGUIツールキットのTkinterを使って簡単なGUIを作りつつあるところだ。 それで、用意してあるテキストファイルを処理しようとしたら、「土屋（異体字）」さんの情報を処理しようとしたところで止まってしまった。
全角半角混在の文章で 1 行に半角何文字分あるか調べる方法
「ソースコードは 1 行あたり 80 文字以内」とか「コミットログは横幅 72 文字以内」とか、文字数に関するルールはいろいろある。 ルールを徹底するには機械的に判定したい。と思って、簡単なスクリプトを書こうとした瞬間、意外と「1 行あたりの文字数」をカウントするのが難しいことに気付いた。 たとえば、「あA」は「全角 1 文字＋半角 1 文字」なので半角 3 文字分としてカウントしたい。 しかし、UTF-8 の世界では「あA」の文字長は 2 だし、バイト数は 4 (あ=0xE38182、a=0x41) である。 EUC-JP や Shift-JIS の時代なら、単純に「あA」は 3 バイトなので「半角 3 つ分」とすぐ分かったのだけども… (逆に文字長を調べるのが面倒だった)。 はて、どうするか？ というのがこの記事でいいたいこと。 East Asian Width を見よ いろいろとググ
文字コード地獄秘話 第1話：Unicodeにおける全角・半角 - ALBERT Engineering Blog
ごあいさつ 皆様はじめまして、文字コードおじさんです。細々とカメラ屋を営んでおりましたが、エンジニアとしての技量を評価され、ALBERTのシステム開発・コンサルティング部で働くことを許されました。特技はサーバーの統廃合です。 今回は最初ということですが、Unicodeにおける全角・半角の取り扱いについて触れてみようと思います。なお、さも連載するかのように第1話と銘打っていますが、上層部の無慈悲な裁決によっては1話打ち切りもありえますので、その際はご容赦ください。 固定観念を捨てよう 「全角50文字、半角100文字まで」といったような文言を見かけたことがあると思います。 特にUnicode以前のレガシーな処理系では全角文字に2バイト、それ以外は1バイトという割り当てが慣習となっていました。 このため、「全角=2バイト文字、半角=1バイト文字」という観念が世間に定着しているのが現状です。 しか
EUC環境からUTF-8環境への移行 [AFFRIT Portal]
EUCの資産をUTF-8環境へ引き継ぐ方法として、nkfやiconvという文字コード変換ツールがあります。 テキストファイルのデータを変換します。 nkfもiconvも一旦、別のファイルに保存する必要がありますので、元のファイル名で保存したい場合は、別ファイルに保存した後に、元のファイルを削除し、元のファイル名にmvする必要があります。 漢字コードの変換、改行コードの変換は、SCP, SFTP を使ってサーバにファイルを転送してから nkf コマンドなどで変換してください。 以下に、nkf のオプションを記載します。 -s output MS-kanji (shifted-JIS) code. -e output EUC (AT&T) code. -L[wmu] new line mode -Lu unix (LF) -Lw windows (CRLF) -Lm mac (CR) 例：変換
Rubyのnanocのメモ - ザキンコのブログ
nanoc( http://nanoc.stoneship.org/ ) がホームページを作るのに便利そうなので使ってみることにしたのだが、 htmlの文字コードをUTF-8で保存するとcompile時にraise_encoding_errorというエラーが出てしまう。 nanoc create_siteした時にできるlibの中のdefault.rbにEncoding.default_external = 'UTF-8'を入れることで解決した。あとは、contentとlayoutをUTF-8で保存しなおせばoutputに作られるhtmlはUTF-8になるようだ。 誰か日本語で解説を書いてくれないかなあ。
スクリプトファイルのutf-8変換
WindowsのUnityではスクリプト内に日本語コメントを入れるとテキストエンコードをutf-8（BOM有り）に直さないとうまく動作しません。新規スクリプト生成時に使われるスクリプトテンプレファイルがここにありますが C:\Program Files (x86)\Unity\Editor\Data\Resources\ScriptTemplates ここのファイルをutf-8（BOM有り）に変更していてもUnityさんがクラス名を設定して上書き保存するのでus-asciiに戻ってしまうようです。Oh… 今までスクリプト新規作成時には、適当なテキストエディターで開いて保存し直すというのを実践していましたがAssetPostprocessでやればいいじゃんと気づいたのでさくっと作ってみました。 AssetPostprocessUTF8Encode.cs ファイルのエンコードを取得してくる部分
職場実習3日目 - 日曜プログラマーの個人的覚書
引き続きperlプログラミング。 CGI-Perl 基礎編 (その八) 正規表現、マッチパターン、置換演算子、変換演算子 - SAK Streets 全角数字と半角数字の変換(文字コードの扱い) 最初は正規表現を使った変換を考えたが、文字化けしてしまいうまくいかず。 $line = '０１２３４５６７８９'; $line =~ tr/[０-９]/[0-9]/;一文字ごとに切り分け、ハッシュで変換した後、再連結する方法を思いついたが、思った通りに変換されず、半角数字が習得できない。 # ハッシュ(全角数字 => 半角数字) %hash_zen2han_number = ( '０' => '0', '１' => '1', '２' => '2', '３' => '3', '４' => '4', '５' => '5', '６' => '6', '７' => '7', '８' => '8', '９'
[Perl]UTF-8でエンコードされた英数字の全角半角変換を行うコード
[Perl]UTF-8でエンコードされた英数字の全角半角変換を行うコード まずカタカナより比較的プログラミングしやすそうな英数字の全角半角変換から作成します。 半角から全角への変換の処理手順は、 ・半角英数字の場合は、同じ全角英数字に置き換えて戻り値として返す文字列に連結 ・それ以外の文字の場合はそのまま戻り値として返す文字列に連結 また、全角から半角への変換の処理手順は、 ・全角英数字の場合は、同じ半角英数字に置き換えて戻り値として返す文字列に連結 ・それ以外の文字の場合はそのまま戻り値として返す文字列に連結 となります。 文字コードはそれぞれ以下の通りですので、これらに該当する文字があったら置き換えを行います。 半角数字:0 - 9 30 - 39 全角数字:０ - ９ EFBC90 - EFBC99 2バイト目まではEFBC 半角アルファベット大文字:A - Z 41 - 5A 全角
Encodeでラクラク日本語処理 - JPerl Advent Calendar 2009
こんにちは！ラブプラスとときメモ４の狭間で揺れ動いているxaicronです！！ 今日は日本でプログラムを書いていたら避けては通れない気がする、Encodeの話をしようと思います！ はじめに まず、この記事を読む前に、Perlのバージョンの確認をしてください。以下のようにやればバージョンが表示されます。 % perl -v ここで、5.8.1より下の数字ができてきた方は、Perlのバージョンアップをしてください。5.8.1より下のバージョンでは、Perlの内部文字コードが安定していないので、いい感じになりません。できれば5.8.8以上のバージョンを使いましょう。 それから、文字コードってなによって人も適当にWikiとかで調べてから読んだ方がいいと思います！！ Encode.pm Encodeは昔のjcode.plやJcode.pmに代わる、現在の文字コード処理のスタンダードModuleです。
よくわかる波ダッシュ問題: 朗読デー多ベース 別館
2020年10月(12) 2018年08月(1) 2015年09月(11) 2015年06月(2) 2014年07月(3) 2014年05月(3) 2013年11月(1) 2013年03月(2) 2012年05月(3) 2012年03月(1) 2010年12月(12) 2010年11月(2) 2010年10月(1) 2010年08月(3) 2010年06月(1) 2009年08月(1) 2009年06月(14) 2009年04月(1) 2009年03月(2) コンプレッサーによる調整［コンプレッサーとは］ by onoue (03/04) ライブ録音［マイキング編］ by Georgebep (01/27) ライブ録音［マイキング編］ by JosephBline (01/18) ライブ録音［マイキング編］ by Waltertog (12/10) ライブ録音［マイキング編］ by jim
ウェブサイト構築における 「美乳問題」 - 今日の一撃 - tak-shonai's "Today's Crack"
いつ頃だっただろうか、ウェブサイト構築において「美乳問題」というのが語られたことがあって、そんなのはとっくに忘れていたのだが、今頃になって復活するとは思わなかった。 私が仕事で構築したウェブサイトのある特定のページが、表示されないという問題が持ち上がったのが発端である。 制作したウェブサイトは、Internet Explorer（以下、IE と表記）、Firefox、そして念のため Safari でも表示確認を取るのだが、ある特定のページだけが IE で表示されない。真っ白のままなのに、ウィンドウの下には「ページが表示されました」との文字が現れる。 「表示されてねえじゃねえか！」 と、ぶち切れそうになって、ソースを表示させてみると、きちんと読み込んでいる。ソースコードは読み込んでいるのに、画面としてレンダリングされず、真っ白のままなのだ。 他のブラウザーではそんな不具合は生じないので、これ
文字コードの部屋 -- Web のエンコード
ホームページの HTML 文書に使用するエンコード 目次 ページ作成にはどのコードが良いか？ 美乳テーブル <META> タグの charset 指定 1. ページ作成にはどのコードが良いか？ 21 世紀、ブラウザのじゅうぶんに進歩した今の時代、もはや シフト JIS EUC JIS コード どれでも構いません。あなたが一番便利だと思うものを選ぶとよいでしょう。特に思いつかなければ、あなたの OS が得意とするコードでよいでしょう。 エンコード判別のロジックの観点からすれば、EUC が一番判別を誤りやすく、文字化けしやすいです。Shift_JIS は判別が比較的容易です。JIS コードはほぼ間違うことは無いでしょう。しかし、もはや 95 ％のユーザが使っているブラウザは、EUC コードですら、ほとんど判別を誤ることはありません。 さらに、どのコードが日本語サイトに最もふさわしいというコンセ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ritsuka on Twitter: "鬼滅の刃に禰󠄀豆子というキャラがいるらしいけど、禰＋異体字セレクタU+E0100を使わないと表現出来ない字なのか。 それでデフォルトではUTF-8は3バイトまでと決め打ちしてたMySQLとかそれを使うWordPressでトラブル起こすらしい"
[vine-users:072629] File Copy EUC-JP -> UTF-8
Encoding error with Japanese text using nanoc
Windows環境のnanocで原稿ファイルをUTF-8にするには | サイト運営の私的メモ
文字コードを変換する際に全角波ダッシュ「〜」を文字化けなしで変換する - make world
