RubyでShiftJISのファイルを扱う（1.9.3, 2.0系対応版）｜TechRacho by BPS株式会社
morimorihogeです．更新が不定期ですみません．最近夕立が改二になりましたが3-4が越せません．(*1 普段Ruby/Railsを使っていると，基本的に文字コードはUTF-8を使っているかと思います．Rubyは割と文字コードについてはバージョン毎に扱いが変わっており，以下の様な挙動になります． 1.8.7以前: デフォルトUS-ASCII，日本語を扱う際は$KCODEの指定を明示的に呼び出す 1.9.3以前: デフォルトUS-ASCII，日本語を扱う際はcoding: utf-8等のマジックコメントを記述する 2.0.0以降: デフォルトUTF-8 というわけで，ここ最近のプロジェクトでRuby 2.0系を使うのであれば，マジックコメントも何も必要無くUTF-8を使うことができます． しかし，レガシーシステムとの連携といった理由で他の文字コードのデータを読み書きする必要は依然存在し
mt-daapd ShiftJIS/UTF-8両対応パッチ ワタシは自宅で音楽聴くの にZinaというCGIを使っていた んですが、嫁がMacユーザな関係で、mt-daapdに乗り換えることにしました。UNIXからMac/WindowsのiTunesに、直接曲を提供できるようにするデーモンです。これ起動しとくと、iTunesの左側のペインに、サーバ名がにゅっと現れるようになり、そこ選ぶとサーバ上の曲の一覧が表示されるようになるです。 しかし、ウチのmp3のID3は大部分ShiftJIS(一部UTF-8)で、一部ID3が入っていなくて日本語ファイル名(sambaの設定によりShiftJIS)なmp3もあります。素のmt-daapdだと、UTF-8/16なID3の曲以外は、iTunes上で文字化けしちゃうんですよねー。 mt-daapdのShiftJISパッチってないんでしょうか
perldoc の Encode::JP を読むと、Shift JISには3種類ある。 shiftjis - MS KanjiCP932 - CODE PAGE 932 = Shift JIS + MS/IBM vendor mappingsMacJapanese - Shift JIS + Apple vendor mappings うっすらとわかっているけれど、気持ち悪いので調べてみた。 Wikipedia に詳しい解説があった。 shiftjis - http://ja.wikipedia.org/wiki/Shift_JISCP932 - http://ja.wikipedia.org/wiki/CP932MacJapanese - http://ja.wikipedia.org/wiki/MacJapanese この3つの encoding について具体的に把握する方法を考えてみ
VC++による，ShiftJISコードとUnicodeの変換処理の実装 VC++による，ShiftJISコードとUnicodeの変換処理の実装 ShiftJIS, Unicode(UTF-8) XMLとかJavaとか扱うと，Unicodeという文字コードが頻繁に出てきます． 我々PCユーザーには，ShiftJISコードがなじみ深いのですが， ちょっとUnicodeは避けて通れないなあという気がしてきます． そこで今回は，ShiftJISコードとUnicodeの変換関数をC++で作ってみました． とは言っても，実際にShiftJISとUnicodeの相互変換の処理を実装するのは， かなり大変なので，VisualC++のライブラリ関数の力を拝借しています． Unicodeというコード体系は，いくつかの方法で実際にコード化されています． 例えば UTF-16BE（ビッグエンディアン） UTF-1
Quicka バージョン 1.5 をリリース！ShiftJIS で検索できるように・地味に日本語化・アイコン微変更 | ラクイシロク
どうもアプリ開発者のラクイシ（@rakuishi07）です。 申請から公開までなんか2週間ぐらい待たされましたが、無事に Quicka v1.5 が審査に通りました。 Quicka 1.5（￥85） カテゴリ: 仕事効率化, ユーティリティ 現在の価格: ￥85（サイズ: 0.1 MB） リリース日: 2012/03/31 アップデート内容は以下の通りです。 URL エンコードが選択できるようになりました。ShiftJIS は、<@@> と入力すると利用出来るようになります。UTF8 は、今まで通り <@> で利用できます Quicka を最初に起動した際に、日本語でデフォルトのデータが表示されるように変更しました アイコンを微変更しました ShiftJIS で検索できるように 日本語圏の一部検索サイトでは、UTF8 ではなくて ShiftJIS でないと駄目だということを知り、対応させ
ブラウザのJavaScriptでShiftJISのcsvを作ってダウンロードさせる - Qiita
JavaScriptでやる必要があるのだろうか…… サーバ側が対応してくれないので、rest apiを駆使してブラウザでcsvを作るとかでしょうか……？ まぁ、それは一旦横に置いておくとして。 utf-8だったらそんなに難しくないんですけれどもね。 その形式だとexcelに優しくないので、ShiftJISの形式にして頑張ってcsvを作ってみようと思います。 実装例とデモ https://github.com/fumihiko-hidaka/create-sjis-csv https://neko-tech-test-storage.storage.googleapis.com/create-sjis-csv/index.html こっちの方が楽だよ！ とかあれば、コメントやprいただければ 動作確認はchromeだけです 使ったライブラリ 日本語の変換用にencoding-japanese
名称 概要 詳細 コンストラクタとテーラリング 比較 ソート 部分文字列の検索 NOTE 照合レベル 漢字文字クラス 長音記号と繰返し記号の置き換え 処理系定義項目 [JIS X 4061, 6.2] 作者 参考 名称 ShiftJIS::Collate - Shift-JIS 文字列の照合 概要 use ShiftJIS::Collate; @sorted = ShiftJIS::Collate->new(%tailoring)->sort(@source); 詳細 このモジュールは、JIS X 4061:1996 （日本語文字列照合順番） に基づいて、Shift-JIS 文字列を照合、整列するための関数を提供します。 このモジュールは JIS X 4061:1996 の実装の一つであり、 照合規則は、上記規格に基づいています。 処理系定義項目も参照のこと。 コンストラクタとテーラリング
想定状況 jquery（1.10）を用いてajaxでCSV(Shift-JIS)を取得する 問題点と解決方法 問題：Shift-JISがうまくエンコードできずに文字化けする 解決方法 1)ファイルのエンコードを変更する ShiftJISエンコードできるようにまずhtmlとjsをShiftJISにエンコードします。 エンコードにはDreamweaverを使いました。 JSファイル（Shift-JIS） HTMLファイル（Shift-JIS） ※meta charset=utf-8になっていないか注意 2)サーバサイドで送出文字コードを指定する .htaccess
CyberDuckでFTP接続してる際、miとかMacvimとかがインストールされてると、サーバ上のファイルを直接変更（とほぼ同等のこと）が出来て、ちょっと修正したいとき、確認したいときなんかに便利。 （ODBインターフェイスってのに対応したエディタならいけるらしい） で、MacVim使ってるとSHIFT_JISのファイルが文字化けしちゃうんだけど、.vimrcをちょこっと書いてやるだけで簡単に解決できた。 "---------------------------------------------------------- " 文字コードの指定 set enc=utf-8 set fenc=utf-8 set fencs=iso-2022-jp,utf-8,euc-jp,cp932 "----------------------------------------------------
随分と長ったらしいタイトルですが、下記のような環境でShiftJISのCSVファイルをfgetcsv関数で読み込むと１文字目が文字化けするという現象に遭遇しました。最初は文字コードがらみの問題かと考えたのですが、先頭１文字だけ文字化けしている様子からカンマ区切りがうまくいっていない、つまりfgetcsv関数の問題ではないかと想像しました。 （もしかするとクライアントの環境も関係しているかもしれません。というのも、問題となるファイルをWindowsXP Home 32bitから読み込ませたところ、文字化けを再現することができませんでした。） Windows XP Professional Apache 2.2.20 PHP 5.3.5 クライアントはWindows7 HomePremium 32bit 検索して見つかったのはこちらPHP5 の fgetcsv() で読み込み内容が腐る現象。
go.textパッケージを使う $ go get code.google.com/p/go.text/encoding $ go get code.google.com/p/go.text/encoding/japanese 使い方を調べるためにsjisのファイルをeucjpに変換してコピーする処理を書いてみた package main import ( "code.google.com/p/go.text/encoding/japanese" "code.google.com/p/go.text/transform" "flag" "io" "os" ) func main() { flag.Parse() // 読み込むファイル read_file, _ := os.OpenFile(flag.Arg(0), os.O_RDONLY, 0600) defer read_file.Clo
Perl 5.8.X 以降で、プログラムの先頭で use encoding 'shiftjis'; と宣言すると… 標準入出力(STDIN, STDOUT)が :encoding(shiftjis)になる ソースファイル中の文字列が実行前に UTF-8に変換される ここまでは perldoc encoding とするとEUC-JPを例に英語で解説されている。 次のプログラムをテキストエディタで入力してShift-JISコードで保存して実行してみるとわかりやすい。 use encoding "shiftjis"; use Data::Dump qw/dump/; print "1:","\x{8868}","\n"; print "2:","\x95\x5C","\n"; print "3:",dump("表"),"\n"; 実行すると次のような結果になる。 1:表 2:表 3:"\x{88
データアナリティクス事業本部の森脇です。 Go言語で文字コードを変換するための方法について調べました。 使用するGo言語のバージョンは1.13.6です。 パッケージのインストール 文字コード変換を行うために、準標準パッケージであるgolang.org/x/textを使用します。 $ go mod init example.com/moriwaki/iconv go: creating new go.mod: module example.com/moriwaki/iconv $ go get -u golang.org/x/text go: finding golang.org/x/text v0.3.2 go: downloading golang.org/x/text v0.3.2 go: extracting golang.org/x/text v0.3.2 $ cat go.mod
名称 概要 詳細 関数 基本的な正規表現 メタ文字 文字クラス 等価文字クラス 定義済み文字クラス 文字クラスの例 正規表現中の埋め込みコード (Perl 5.005 以降) 埋め込み修飾子 誤マッチを避ける 注意事項 既知のバグ 著者 関連モジュール 名称 ShiftJIS::Regexp - Shift-JISで書かれた正規表現 概要 use ShiftJIS::Regexp qw(:all); match('あお１２', '\p{Hiragana}{2}\p{Digit}{2}'); # これは次行と等価です。 match('あお１２', '\pH{2}\pD{2}'); match('あいいううう', '^あい+う{3}$'); replace($str, 'A', 'Ａ', 'g'); 詳細 このモジュールは、正規表現をShift-JISで書いてPerlで用いるための 幾つかの関
名称 概要 このPODについて 詳細 関数 文字列が正しいかどうかの確認 文字列の長さ 逆順 検索 文字列の前後の余分な文字の除去 部分文字列 分割 比較 文字範囲 文字の変換 変換のクロージャの生成 アルファベットの大文字・小文字 平仮名・片仮名の変換 空白類文字の変換 注意事項 バグ 著者 関連モジュール 名称 ShiftJIS::String - Shift-JIS 文字列操作関数 概要 use ShiftJIS::String; ShiftJIS::String::substr($str, ShiftJIS::String::index($str, $substr)); このPODについて このPODは、Shift-JISで書かれています。 'あ' が HIRAGANA LETTER A に見えますか ? また、'\' が REVERSE SOLIDUS ではなく YEN SIGN
こんにちは、Sayahamittです。 Macで書いていたC++コードをWindows VC++に持ってきたら文字コードでハマったのでメモしておきます。 今回は引数にUTF8エンコードのstd::string型文字列を取り、ShiftJISエンコードのstd::string文字列を返す関数と、その逆をやる関数を作りました。 バリバリのWindows API依存コードです。ごめんなさいm(__)m Windowsでは内部的な処理にはUnicodeが使われているにも関わらず、コンソールにおける入出力を始めAPIなど、ユーザーとのインターフェースには未だにShift-JISが使われているようで、UTF8など多バイト文字を直接利用出来ません。 WindowsAPIなんて殆ど触ったことがない自分も、もれなくこの問題に引っかかりました。 Win API を利用する場合にはMultiByteToWide
半角と全角の混在するShiftJIS文字コードの扱い方(C/C++) - プログラミング講座 - fuku研究所
今回は、文字列を直接操作するにあたって、 日本語を含むShiftJIS文字列を操作するための扱い方についてです。 ShiftJIS文字コードでは日本語は2バイトで表現され、1バイト目に決まった値の範囲が入ります。 半角文字と全角文字の区別は、1バイト目の値を見て判断します。 問題は2バイト目だけを見ても判断できないことで、文字列の途中のあるバイトが半角文字なのか、 全角文字の1バイト目なのか、2バイト目なのかをそのバイトだけでは判断できません。 このため、途中のあるバイトの文字を区別したい場合でも、文字列の最初から見ていかなければいけません。 さて、その「全角文字の1バイト目」として決まっている範囲は 0x81-0x9F と 0xE0-0xFC の範囲です。 中途半端なこと この上ないのですが、こういうのは関数化しておけばいいですね。 int SJISMultiCheck(unsigned
Linuxで日本語のファイル名を持ったファイルをzip圧縮すると、Windows側で文字化けして読めないということがある。どうしても日本語のファイル名を使いたい場合は、ファイル名をUTF8からShiftJISに一時的に変更してzip圧縮する必要がある。 Windows, Linuxでのファイル名の文字エンコード別状況 UbuntuでShiftJISエンコードのzipを閲覧 → NG UbuntuでUTF8エンコードのzipを閲覧 → OK WindowsでShiftJISエンコードのzipファイルを閲覧 → OK WindowsでUTF8エンコードのzipファイルを閲覧 → NG つまり、どちらかのエンコードを選択すれば、両環境で閲覧できる「最適解」は存在しない。 自己解決というアタリマエのことが出来ない人が相対的に多いWindows環境に合わせて、ShiftJISエンコードでzip圧縮す
UnicodeにあってShiftJISにない文字
東京でソフトウェアエンジニアをやっています。 お仕事大募集中です。 記事執筆や、講師依頼とかでも何でもどうぞ(*^_^*) MSMVP Visual C# Since 2004/04-2013/03 をチェックするためにちょっと実験してみましょう。 .NET 3.5な環境でコンパイルしてください using System; using System.IO; using System.Text; namespace ConsoleApplication1 { class Program { static void Main(string[] args) { var sb = new StringBuilder(); var shiftjis = Encoding.GetEncoding("shift_jis"); for ( var i = 0; i < 0xffff; i++) { //サ
VC++による，ShiftJISコードとUnicodeの変換処理の実装 VC++による，ShiftJISコードとUnicodeの変換処理の実装 ShiftJIS, Unicode(UTF-8) XMLとかJavaとか扱うと，Unicodeという文字コードが頻繁に出てきます． 我々PCユーザーには，ShiftJISコードがなじみ深いのですが， ちょっとUnicodeは避けて通れないなあという気がしてきます． そこで今回は，ShiftJISコードとUnicodeの変換関数をC++で作ってみました． とは言っても，実際にShiftJISとUnicodeの相互変換の処理を実装するのは， かなり大変なので，VisualC++のライブラリ関数の力を拝借しています． Unicodeというコード体系は，いくつかの方法で実際にコード化されています． 例えば UTF-16BE（ビッグエンディアン） UTF-1
gcc と ShiftJIS
文字列リテラルとして「ソー」という表記の含まれている、ShiftJIS でエンコードされたファイルを、gcc でコンパイルする必要が出てきました。元のファイルは(勿論?)Windows上で作られたものです。 そのままコンパイルすると、foo.c:6:21: warning: unknown escape sequence: '\201'というエラーになってしまいます。 これは「ソー」をShitfJISでエンコードすると、0x83、0x5c、0x81、0x5bになることが原因です。0x5c(バックスラッシュ)の次の文字として、Cで定義されたエスケープシーケンスを構成する文字(例えば'\'+'n'で「改行」等)を期待しているのに、未知の文字(ここでは、0x81)が来たよ、というエラーです。 ある意味ここまでは想定の範囲内。iconv サポートを有効にして生成された gcc の場合、入力ファイル
スレッド 公開討議:UTF8からShiftJISへの変換における文字化けに関しまして - nkf Network Kanji Filter - OSDN
UTF8からShiftJISへの変換における文字化けに関しまして (2009-04-14 11:34 by nito555 #43129) はじめまして。いとうと申します。 現在、「Network Kanji Filter Version 2.0.9 (2009-01-20) 」を使用しているのですが、特定の文字をUTF8からShiftJISに変換しようとすると文字化けが発生します。 文字化けの発生する文字は「㈱」と「Ⅱ」で、テストの際には、下記コマンドを実行しました。 nkf -sW8O test.utf8 test.sjis この問題につきまして、対応策・回避策をご存知でしたらご教示頂けませんでしょうか。 どうぞよろしくお願い致します。
nkfでフォルダ内のファイルをぱぱっとShiftJIS(CP932)からUTF-8に変換する - それマグで！
cp932まだ絶滅しない。 CP932はいつまで生き残るんですかね。。。ファイル名だけならまだ我慢するけどファイルの中身もとなると結構しんどいですよね・ フォルダ内の txt ファイルの文字コードを表示する $ ls **/*.txt | xargs -I@ nkf -w -g @ Shift_JIS Shift_JIS Shift_JIS Shift_JIS CP932 Shift_JIS Shift_JIS Shift_JIS Shift_JIS あー、、、もうね・・・ 全部まとめてUTF-8にする $ ls **/*.txt | xargs -I@ nkf -w --overwrite @ できた ls **/*.txt | xargs -I@ nkf -g @ UTF-8 UTF-8 UTF-8 UTF-8 UTF-8 UTF-8 UTF-8 UTF-8 UTF-8 うん、楽ちん。
PHP DOMDocumentのloadHTML() ShiftJISでエラー - tanaka's Programming Memo
①などの文字が含まれるHTMLページをDOMDocumentのloadHTML()でDOMにしようとしたところ、以下のようなエラーが発生してしまいました。 DOMDocument::loadHTML(): input conversion failed due to input error, bytes 0x81 0xAE 0xE3 0x81 やりたいことは、ShiftJISのページをUTF-8にして、SimpleXMLElementに変換することです。 [PHP] DOMDocument#loadHTML()で、特定の文字が含まれていると正しいDOMを作ってくれない を拝読することで解決しました。 原因1 根本的な原因は、機種依存文字を利用したことです。しかし、①などはUTF-8にも定義されているのでエンコードの指定が合っていれば変換できます。 ①などのWindowsの機種依存文字まで含
RH7.2+MySQL+PHPの組み合わせで文字コードをShiftJISで出力したいのですが、どうしても文字化けしてしまいます。…
RH7.2+MySQL+PHPの組み合わせで文字コードをShiftJISで出力したいのですが、どうしても文字化けしてしまいます。回避する方法を教えてください。また上記の組み合わせでeucではなく、ShitJISを使った場合問題は何かありますか？
MinGW プロジェクトでは、gcc を始めとするコンパイルツール「Minimalist GNU for Windows」を提供する以外に、それらを実行する最小限のシェル環境「Minimal SYStem」を提供しています。この中には、Windows のウィンドウアプリケーションで実行される、スタートメニューの MinGW/MSYS/msys から実行できるシェルプログラムが提供されています。しかし、このシェル上では日本語を含んでいる文字列がコンソールにあらわれると文字化けして、きちんと表示されません。 これをきちんと表示する方法があります。MinGW/MSYS/msys から実行されるのは、バッチファイルで、その中から rxvt.exe というプログラムが実行されます。これが本体で、これに日本語を表示可能にする適切なオプションを指定します。 まずは、バッチファイルを探しだし、それを編集可
MinGW (gcc) で ShiftJis で書かれたソースプログラムをコンパイル可能にする方法 - seclan のほえほえルーム
gcc はもともと海外で開発されていたものでので、マルチバイト環境が考慮されていませんでした。したがって、ソースコード中に、例えば "表" などという文字列があると、エラーになってコンパイルできませんでした。「表」は ShiftJis では 0x955c なので "表" という文字列は、"\x95\" と同じ意味になります。これをマルチバイトを考慮していない環境で考えると、「"」で文字列の開始、「\x95」の一文字、そして「\"」、つまり " のエスケープと言う解釈になり、文字列が閉じていないことになります。 ある頃の gcc から、ソースの解釈が UTF8 で行われるようになったようですが、それに加え ShiftJis も処理できるようなオプションが追加されたようです。その方法は、オプションに「-finput-charset=cp932 -fexec-charset=cp932」を追加し
URLエンコーディングは通常、UTF8で行うが、ケータイサイトはShift_JISが多用されているため、日本語文字列はShift-JISでエンコーディングする必要がある。 NSString *urlstr; // 変換前データ NSString *hoge; // 変換後Shift-JISデータ hoge= [urlstr stringByAddingPercentEscapesUsingEncoding:NSShiftJISStringEncoding]); ■参考記事 http://d.hatena.ne.jp/uosoft/20090710/1247155231
String.getBytesしてから16進数形式に整形するだけ。コンパイルして実行すると出力はこんなかんじ
使うもの json2csv jconv まずはCSVを作る まずShift JISへの変換などはせず、JSONからCSVを作成します。 import { Parser } from "json2csv"; const fields = [ { label: "column1"; value: "alpha"; }, { label: "column2"; value: "beta"; }, ]; const json = [ { "alpha": "first" }, { "beta": "second" }, ]; const json2csvParser = new Parser({ fields: fields, header: true }); const csv = json2csvParser.parse(json); const objectUrl = URL.createO
![[JavaScript]ShiftJISの文字コードでCSVを作りたい | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/c6082d053d0b1940e3a9c4d81bf031a09b51ab0c/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2020%2F04%2Fjavascript.png)
PureBasicでShiftJISをUnicodeへ変換
PureBasicでとあるページを読み込んで中のデータを抜き出す用事があたのだが、別のサイトの方が使い勝手がよさそうなのでそこから抜き出すことにした。 アクセス先のURIを書き換えて抜き出す部分をそのページ合わせて書き換えればOKだな、楽勝～と思ったけど、そこがShiftJISで記述されててこまった。 これまではUTF8なページだったので、そのまま使うと文字化けしてパタンマッチが使えない。 いろいろ調べてみたらWin32 APIのMultiByteToWideChar(), WideCharToMultiByte()を使っている例が見つかったので、それを参考にやってみたがうまく行かない。 > MultiByte to UTF-8 原因はPeekS(*MemoryID, length, #PB_UTF8)のままデータを文字列変数にいれてたこと。 ダサいね(^^; PeekS(*MemoryI
convmvで文字コードの変換を試みています [root@ test]# convmv -f utf8 -t sjis * Starting a dry run without changes... shiftjis doesn't cover all needed …
convmvで文字コードの変換を試みています [root@ test]# convmv -f utf8 -t sjis * Starting a dry run without changes... shiftjis doesn't cover all needed characters for: "./åæ»°²ä�" shiftjis doesn't cover all needed characters for: "./ ®»ã»�é®°²ä" shiftjis doesn't cover all needed characters for: "./äª�é»çé�²" To prevent damage to your files, we won't continue. First fix errors or correct options! とこのようにエラーがでて変換がおこな
nkf を適当に拾ってきて下のバッチファイルを実行。 for %%i in (*.java) do ( nkf -Sw --cp932 %%i > %%i.utf8 del %%i ren %%i.utf8 %%i )「だれやSJISでソース書いたの！」ってことでさくっと作った。 特に目新しい物はない。
Javascriptでshiftjisやeuc-jpエンコードなども可能なescape、unescape関数ライブラリ「ecl.js」| 某氏の猫空
Javascriptでshiftjisやeuc-jpエンコードなども可能なescape、unescape関数ライブラリ「ecl.js」投稿 : 2011-07-18更新 : 2013-05-11 Javascriptには「encodeURI」「encodeURIComponent」「escape」のビルドイン関数があるがJavascriptの文字列を変換するとUTF-8の文字列としてエンコードされる。 しかし、文字列をEUC-JPやshift-jisなどとしてエンコードしてほしいときにこのライブラリーを使うと一発で変換できる。 Escape Codec Library(Vector)
ShiftJIS死すべし - Qiita
結論 shift_jis使うなMS932使え いきさつ csvUploadの処理を作っていて"～"が?に化けた OracleはJA16SJISTILDEだから～使えるはず と思って調べたらjsp側の文字コードが悪かった <%@ page contentType="text/html;charset=Shift_JIS"%> ↓ <%@ page contentType="text/html; charset=MS932" %> に変更したら解決した
DoCoMoの携帯向けサイト（shiftjis）をレンタルサーバのPerl＋Mysqlで作成中ですが、特定文字（ソ、表など）で文字化けが発生します。今日も丸一日格闘しています。 ソや表などの5c系の文字化けの存在は分かるのですが、 Perlでの対処方法が良く分かりません。 いろいろ検索してみたら対処法として、 １．ソースのエンコードをshiftjisからEUCに変える ２．対象文字列をシングルクォーテーションで囲む ３．対象文字の後ろに￥記号をつけてエスケープする というのが一般的なようでした。しかし、 １．はDoCoMoの携帯はshiftjis指定なので除外になり、 ２．は変数にHTMLデータを格納してその変数をprintしているため、シングルクォーテーションで囲うとHTMLタグが正常に表示されません ３．は膨大なデータの当該文字に直接￥マークをつけることは現実的ではありませんし、データ
PerlでShiftJISを読み込もうとしたらデコードできないと言われた件について - shogo82148's blog
2chの過去ログで遊ぼうとPerlを使っていじっていたのです。 2chのファイルはShift-JISで書かれているわけですが、文字コードの違いとか面倒なのでPerlのIOレイヤを使ってUTF-8へ変換しようと open my $datfile, "<:encoding(shift-jis)", "000000000.dat"; while(my $line=<$datfile>) { print $dat; } みたいな感じのプログラムを書いて変換してみた。 するとこんな警告でいっぱいになってしまったのです・・・。 shiftjis "\xF6" does not map to Unicode at adddat.pl line 55, <$datfile> line 39. shiftjis "\xF7" does not map to Unicode at adddat.pl line
ShiftJISで提供されるテキストファイルをJavaScriptのFile APIのFileReaderで読み込み、更にそれをエンコードする方法をいろいろ調べた。見た範囲だとencoding-japaneseを利用する例が多かったので、cdnjsに置かれているこのライブラリをscriptタグで読み込んだ上で以下の様な形で書いた。この形で書くと元の文字コードが自動的に確定されて所望な形に変換される。 GitHub 18 Users 47 Pocketspolygonplanet/encoding.jshttps://github.com/polygonplanet/encoding.jsConvert or detect character encoding in JavaScript - polygonplanet/encoding.js クライアントサイドでもいろいろできるんだなと思
WindowsとかいうゴミOSを考慮するせいで、もうすぐ東京オリンピック開催の2020年に近づいたというのにShiftJISで出力したいケースがある。 .encode()使えばいいんでしょ？ RubyはもともとUTF-8なのでUTF-8→ShiftJISの変換になりstr.encode(Encoding::Windows_31J)でいける。訳がなかった irb(main):001:0> str = "〜鎌倉幕府〜" => "〜鎌倉幕府〜" irb(main):003:0> str2 = str.encode(Encoding::Windows_31J, undef: :replace).encode('UTF-8') => "?鎌倉幕府?" は？？？？なんで文字化けしてるんだ というのもUTF-8の〜にあたる文字がShiftJIS(CP932)にないため。 そこで前もって該当する文字列たち
func Utf8ToSjis(str string) (string, error) { sjisEnc := japanese.ShiftJIS.NewEncoder() sjisStr, _, err := transform.String(sjisEnc, str) if err != nil { return "", err } return sjisStr, nil }
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
mt-daapd-0.2.4 ShiftJIS/UTF-8両対応パッチ
Perl 5.8.x で shiftjis 、CP932、MacJapanese の違い
)
ShiftJIS，Unicode(UTF-8) - プログラマー'sペイジ
ShiftJIS::Collate - Shift-JIS 文字列の照合
jQueryでShiftJISエンコードされたCSVを処理する - Qiita
Macvim ShiftJIS対策 - goryugo
PHPでShiftJISのCSVファイルをfgetcsvで読み込むと先頭１文字が文字化けする
Go言語でShiftJISのファイルを読む - メモ置き場
Perl 5.8.X の use encoding 'shiftjis' の副作用
Go言語(golang)でShiftJISのファイルをutf-8に変換する | DevelopersIO
ShiftJIS::Regexp - Shift-JISで書かれた正規表現
ShiftJIS::String - Shift-JIS 文字列操作関数
UTF8なstring入れたらShiftJISなstring出てくる関数作った – mittBlog
(Linux) ShiftJISエンコードのzipファイルを作成する (r271-635)
MSYS で日本語 (ShiftJis) を表示可能にする方法 - seclan のほえほえルーム
ShiftJISでエンコーディング
【Java】ShiftJISの文字コード値を16進数表記で得る
[JavaScript]ShiftJISの文字コードでCSVを作りたい | DevelopersIO
ShiftJISからUTF8に変換するバッチファイル - ..たれろぐ..
perl+shiftjisで5c文字化けの対処方法について
ShiftJISのファイルをJavaScriptのFile APIで読み込む
RubyでUTF-8をShiftJISに変換するならnkfを使うべき - 動かざることバグの如し
Go言語で、UTF8 -> ShiftJis の変換 - Qiita