C#で高精度なテキストファイル文字コード自動判別（2014年版） - hnx8のブログ
C#（.NET Framework）に限ったことではありませんが、汎用的にテキストファイルを扱うようなアプリケーションを作っていると、よく 特定の文字コードのファイルしか読み出せないのでは困る ⇒文字コードを自動判別し、テキストの内容を取り出したい 読み出したファイルと同じ文字コードでファイルを書き出したい ⇒読み出したファイルの文字コードを知りたい といった場面に出くわします。 ですが、C#（.NET Framework）標準のライブラリではそのような機能は提供されていないため、文字コードを判定するには、 自前で文字コード判定のロジックを実装する 出来合いの外部ライブラリ、Windows版NKF32.dll、ICU4Cなどを利用する IE用の文字コード判別ライブラリ（mlang.dll）を利用する ※COMコンポーネント呼び出し要 のいずれかの方法を取ることになります。 HNXgrepと
HandBrake
HandBrake is a open-source tool, built by volunteers, for converting video from nearly any format to a selection of modern, widely supported codecs. Reasons you’ll love HandBrake: Convert video from nearly any format Free and Open Source Multi-Platform (Windows, Mac and Linux) Download HandBrake 1.9.2
Windows Phone 8 で Shift-JIS を読む - biac の それさえもおそらくは幸せな日々@nifty
Windows Phone は 8 が出てから触り始めたという新参者なので、 PCL の話をしてお茶を濁しちゃえ、 と思ってました。 ところが、 月曜日にこんなのを見つけちゃったんですねぇ f(^^; えっ!! (＠＠; MultiByteToWideChar が入ってるぞ! CP 932が実装されてるといーなーf(^^; #wp8dev_jp/Supported Win32 APIs for Windows Phone 8 msdn.microsoft.com/ja-jp/library/… — 山本康彦＠BluewaterSoftさん (@biac) 12月 3, 2012 てことで、 Shift-JIS をエンコードする話をするです♪ ● Shift-JIS の困ったちゃん (--; WP7.x では、 みなさん苦労してきました。 JpEncoding っていうライブラリが使いやすそ
Phone 7 で シフトJIS を読みたい
昨日まで知らなかったのですが Windows Phone 7 というか Silverlight には シフトJIS のエンコーディングが無いそうです。 MSDN にはこんな風に書かれていました。()は適当に意訳 The Encoding class is primarily intended to convert between these three different Unicode encodings. In addition, you can derive from the Encoding class to create a custom encoding that is not supported by the .NET Framework for Silverlight. (Encoding クラスってのは異なるエンコーディング同士の変換してるだけだから、サポートされてないエ
日本語向けのカスタムエンコーディングクラス作ったよー - tmytのらくがき
WP7というかSilverlightだとUTF8とUTF16しかサポートされていませんが、日本語環境においてはJIS,SJIS,EUCJP,UTF8,UTF16などしねばいいのにと思うほどの様々なエンコーディングが使用されているうえに、Webではみんな好き勝手つかっててしねばいいのに困ったものです。 対応してないエンコーディングはSystem.Text.Encodingを継承したカスタムエンコーディングクラスを作って自分でどうにかしてね（はーと）というのがMSの見解らしいです。 そんでもって、お昼間にid:iseebiにISO2022JP用のカスタムエンコーディングクラス作ってよ！とそそのかされたのでさっくり作ったら、id:iseebiに@kazuakix のSJISと一緒にしてNuGetしてよ！といわれたので、じゃーやるかーとしていると@oota_ken についでにEUCJPも対応してよ
文字コードに起因する脆弱性を防ぐ「やや安全な」php.ini設定
補足 この記事は旧徳丸浩の日記からの転載です（元URL、アーカイブ、はてなブックマーク1、はてなブックマーク2）。 備忘のため転載いたしますが、この記事は2010年9月27日に公開されたもので、当時の徳丸の考えを示すものを、基本的に内容を変更せずにそのまま転載するものです。 補足終わり PHPカンファレンス2010にて「文字コードに起因する脆弱性とその対策」というタイトルで喋らせていただきました。プレゼンテーション資料をPDF形式とslideshare.netで公開しています。 文字コードのセキュリティというと、ややこしいイメージが強くて、スピーカーの前夜祭でも「聴衆の半分は置いてきぼりになるかもね」みたいな話をしていたのですが、意外にも「分かりやすかった」等の好意的な反応をtwitter等でいただき、驚くと共に喜んでいます。土曜にPHPカンファレンスに来られるような方は意識が高いというの
文字コード（UTF-8,Shift_JIS,EUC-JP,ISO-2022-JP）についての俺的まとめ - 今日もスミマセン。
「プログラマのための文字コード技術入門」を読んで自分なりに理解した点をザックリとまとめてみる。 それほど正確性を求めて書いているわけではないので、間違ってる可能性大です。 間違いなどあればコメントなど頂けるとありがたいです。 それぞれの文字コードはどう違うのか？ 日本語の文字コードは大きく以下の２つに分けられる JIS X 0208 文字集合をベースにしたもの Unicode文字集合をベースにしたもの JIS X 0208 文字集合をベースにした文字コードには、EUC-JP, Shift_JIS, ISO-2022-JP がある。 Unicode文字集合をベースにした文字コードには、UTF-8, UTF-16 などがある。 上で挙げた「文字コード」とは正確には「エンコーディング（文字符号化方式）」の事を指す。 文字符号化方式 文字集合って？ 読んでそのまんま”文字の種類の集まり”。「キャラ
エンコードマニアックス - 各種エンコードやハッシュを一発作成
JavaScript encodeURIComponent() UTF-8限定 /home/akiyan/encodemaniax/webroot/index.html on line 70 "> Warning: Undefined array key "js_encodeuricomponent" in /home/akiyan/encodemaniax/webroot/index.html on line 71 JavaScript encodeURI() UTF-8限定 /home/akiyan/encodemaniax/webroot/index.html on line 70 "> Warning: Undefined array key "js_encodeuri" in /home/akiyan/encodemaniax/webroot/index.html on line
巨大なSJISのCSVファイルをfgetcsv関数で処理する - hnwの日記
さて、前回記事「PHPでメモリ上に一時ファイルを作る」では、file_get_contents関数でCSVファイル全体を取得して文字エンコーディングの変換を行い、変換結果に対してfgetcsv関数を利用しました。しかし、CSVファイルが巨大な場合にはfile_get_contentsを使うとメモリ上限に引っかかってPHPが停止してしまいます。 もちろん、UTF-8のCSVファイルに対してfgetcsvを利用するのであれば、どんな大きなCSVファイルだろうと処理することが可能です。なぜなら、fgetcsvはファイルを1行単位で読み込む関数ですから、1行分のメモリ消費だけでファイル全体を読み込み続けられるからです（正確にはストリーム上のデータはバッファリングされるので、バッファサイズ分のメモリは消費しますが）。 それでは、巨大なSJISのCSVファイルをfgetcsvで処理したい場合はどうすれ
Latin-1撲滅マクロ改変: dara-j
Komodo EditでSJISファイルをSJISファイルとして開くマクロだが、試してみたらプロジェクトマクロじゃなくてToolboxマクロでも動いた。当然ちゃ当然だが。 ほんでついでに推奨されないkomodoオブジェクトの使用をやめて、こんな風に手を入れてみた。 if( ! ko.views.manager.currentView.document ) return; var doc = ko.views.manager.currentView.document; if( doc.encoding.short_encoding_name == "Latin-1" ) { try { doc.setEncodingFromEncodingName( "CP932" ); } catch(e) { ko.dialogs.alert( e ); } } ま、「komodo.document」の
KomodoでLatin-1撲滅を試みる: dara-j
KomodoでHTAを書いてみようと思ったわけだが 仕事でちょっとしたツールが必要になったので、久々にHTAを書くことにした。 単純なJSやHTAなんかは大体サクラエディタでしこしこと書くのだが、バッチやら参照ディレクトリやらでちくっと複雑になりそうだったのでKomodoを使ってみることにした。 が、ちと困ったことが。Shift_JISのソースをKomodoで開くとなぜか「Latin-1」として検出されてしまい、こんな具合で表示されるのだ。 ほんとはこうなんだけど。 開くたび変更するのは面倒くさい ドキュメントのプロパティでCP932に変更すればちゃんと表示されるんだけども恒久的に覚えてくれるわけじゃないので、ファイルを開くたびにちくちくと設定する必要があり、すごく面倒くさい。 なので、なにか手はないかと思って調べたら、どうやらKomodoのマクロはファイルを開くタイミングで起動することが
文字コード変換ツール「KanjiTranslator」(フリーソフト)
文字コード変換ツール「KanjiTranslator 1.6」 ツール概要 このツールは、大量のファイルの文字コード（及び改行コード）を一括して変換するツールです。 フリーソフトウェア・無保証です。 個人の方だけでなく、営利/非営利問わずどのような団体・機関でも無料でご利用頂けます。 対応している文字コードは、ShiftJIS, ISO-2022-JP, EUC-JP, UTF-8（日本語のみ)です。 テキストエディタ Crescent Eveの文字コードエンジンにより、 変換元の文字コードは高精度で自動認識します。 ファイルを直接置き換える為、必ず事前にバックアップを行ってください。 変換エラーとなった場合、エラー理由が表示され、元のファイルがそのまま残されます。 （変換エラーとなる原因は「画像等のバイナリファイルを変換対象とした場合」もしくは 「対応していない文字コードだった」のどちら
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Mozillaのコードを切り出してライブラリ化した文字エンコーディング判別ライブラリ「Universalchardet」をjavaにポーティング
文字コードに起因する脆弱性とその対策