Trivial BlogpythonのコードをVSCodeのターミナルで実行しようとすると、どうやってもシェルがWSLになってしまい、PowerShellで実行できない。 WSLだと、C:\Users等のディレクトリにアクセスできず、Pythonの実行ファイルがN...
［MySQLウォッチ］第37回 文字コードに起因する問題は文字化けだけじゃない，ソート順とcollationの関係
［MySQLウォッチ］第37回 文字コードに起因する問題は文字化けだけじゃない，ソート順とcollationの関係 前回は，マルチバイト文字コードを使用しているユーザであれば陥りがちな「文字化け」をテーマに解説を行った。特に日本では，複数の文字コードが存在するので，混乱を助長してしまう。 さて，文字コードの違いによる弊害は，文字化けという表示の問題だけではない。データベースは，データの蓄積と提供が重要な役割である。大量のデータを提供する際には，並べ替えが必要になる。実は，文字データの場合，文字コードによって，並びが変化することをご存知だろうか。今回は，ソート処理と文字列の関係を解説する。 ソート処理での文字コードの影響 文字には，大文字と小文字のように同じ文字ながら，単語や文書での位置によって体裁が変わる場合がある。また，海外では，地域によって，アルファベットの並びが異なったり，文字自体が
Escape Codec Library: ecl.js
日頃より楽天のサービスをご利用いただきましてありがとうございます。 サービスをご利用いただいておりますところ大変申し訳ございませんが、現在、緊急メンテナンスを行わせていただいております。 お客様には、緊急のメンテナンスにより、ご迷惑をおかけしており、誠に申し訳ございません。 メンテナンスが終了次第、サービスを復旧いたしますので、 今しばらくお待ちいただけますよう、お願い申し上げます。
‘愛’で学ぶ文字コードと文字化けの常識 (1/4) - ＠IT
本連載は、Java言語やその文法は一通り理解しているが、「プログラマー」としては初心者、という方を対象とします。Javaコアパッケージを掘り下げることにより「プログラマーの常識」を身に付けられるように話を進めていきます。今回は、文字コードや文字化けについて。OSや携帯電話の機種の違い、メール、Webブラウザ、DB入出力、国の違いなどさまざま原因で起きる文字化けを徹底解説！ 文字コードや文字化けの知識はプログラマーの常識 今回は、文字コードや文字化けなどの文字に関する常識をJavaを通して身に付けていきます。 私たちプログラマーにとって、文字や文字列を扱うことはとてもありふれたことです。ほとんどのプログラムにおいて、何らかの形で文字や文字列を扱っていることでしょう。 インターネット時代には必須の知識 コンピュータ1台で動作するプログラムを扱っている範囲では、皆さんは特に何の困難に出合うことも
［MySQLウォッチ］第36回 文字化けのメカニズム
文字コードの多様化とインターネットやクライアント-サーバーなどの分散環境の普及によって，文字化けトラブルの頻度が飛躍的に拡大した。特に Webシステムでは，WebブラウザとWebサーバー，プログラム(スクリプト)言語，そしてデータベースと文字化けが発生する要因が数多く存在する。 Webサーバー側の文字化けは，他のコラムにお任せすることとして，今回はMySQLの文字化けに関して解説する。 文字化けの仕組み 文字化けは開発者にとって悩みの種である。しかし，文字化けの仕組みを少しでも知っていれば，意外と簡単に解決できるものだ。このコラムで，ぜひその知識を学んでほしい。 MySQL 4.1の変更点 さて，MySQLにおいては，バージョン4.1のリリースを境に文字化けが起きることが非常に多くなった。では，バージョン4.1は，それ以前のバージョンと何が変わったのだろうか。そこに文字化けを解決するヒント
アシアルブログ
2018-12-21 経済産業省『未来の教室』実証事業の一環として宮崎県立日南振徳高等学校で『農業IoTシステム自作』講座を開催しました MonacaEducation担当の岡本です。経済産業省『未来の教室』実証事業の一環として宮崎県立日南振徳高等学校の生徒達とビニールハウスなどの温度湿度をクラウドに記録、スマートフォンやタブレットなどのモバイル端末からグラフとして情報を確認できるようなシ… 経済産業省『未来の教室』実証事業の一環として宮崎県立日南振徳高等学校で『農業IoTシステム自作』講座を開催しました 2018-12-14 IT健保（関東ITソフトウェア健康保険）のお得な活用方法について調べてみた はじめまして、諸井です。 マーケティングや営業のフロント・バックオフィス全般を担当しています。 入社して3年弱、嬉しかったことはいくつかあるのですが、そのひとつは関東ITソフトウェア健康保険
PHPでUTF-16を保存するときにBOMをつける方法 - cloned.log
たいした話ではないのだけれど、PHPには「指定したエンコードで保存する」という方法が見つからないので、UTF-16に変換してそのままファイル保存をするとBOM（バイトオーダーマーク）が付かないからエンディアンの判定ができない。 具体的には以下の方法だとBOM無しになる。 <?php $contents = file_get_contents('utf8.txt'); $encoded = mb_convert_encoding($contents, 'UTF-16LE', 'UTF-8'); file_put_contents('utf16le.txt', $encoded); なので、リトルエンディアンのBOM付きで保存する場合は以下のようにやる。 <?php $contents = file_get_contents('utf8.txt'); $encoded = chr(255) .
Universalchardet - やる気向上作戦
universalchardet / juniversalchardet Mozillaのエンコーディング判別ライブラリであるuniversalchardetを切り出して、Cライブラリ化してみた。さらにJavaにもポーティングしてみた。エンコーディング判別なのにcharacter set detectorとはこれいかに。 C版はLinux/Windowsに対応。Linuxでのインストールは make && make install で。autoconfなどという高尚なものは使っておりません。 文字コードの変換はこちら EncodingConversion Related Works jchardet (Java,旧バージョンのchardet) juniversalchardet（Java,universalchardetのJavaポート） Universal Encoding Dete
Matzにっき(2007-03-12)「あいうえお」はインド由来
<< 2007/03/ 1 1. [Ruby] Rubyist Magazine - Rubyist Magazine 0018 号 2. ストレートタイプのスマートフォン「NOKIA E61」レポート 3. ITmedia エンタープライズ：TopCoderで世界と渡り合う日本IBMの異才 - 夷藤勇人 4. My Sleepless Nights in the Big Apple: Apple、サブノート市場へ再参入へ 5. ITmedia Biz.ID：失敗しないプロジェクトマネジメント -- Appleやはてな、Googleに学ぶ3つのヒント 6. 平成19年度「情報大航海プロジェクト（モデルサービスの開発と実証）」に係る委託先の公募について 7. [言語] PyCon 2007 Review 8. [Ruby] deep_science:Re:バザール「オープンソース、そして「R
セキュアプログラミング・テクニック
本ページは、このようなセキュリティ上の問題が存在する事を衆知徹底させる事を目的とする。 衆知徹底する事で、すべてのコンピュータ・ソフトウェアからこのセキュリティ問題を駆逐し、コンピュータ・ソフトウェア環境をより安全なものとなる事を期待する。 Link IPA ISEC セキュア・プログラミング講座 IPA ISEC セキュア・プログラミング講座2 書籍「セキュアWebプログラミング Tips集」 JPCERT/CC クリックジャッキング対策 ～X-FRAME-OPTIONSについて～ WizardBible 45 (SSL の負荷試験記事あり)、[seasurfers:0843] も併せて読むとよい 脆弱性体質の改善 - C/C++セキュアコーディング入門 (1) 脆弱性体質の改善 - C/C++セキュアコーディング入門 (2) 脆弱性体質の改善 - C/C++セキュアコーディング入門 (
ウノウラボ Unoh Labs: 日本語とPHP
yamaokaです。 PHPで日本語を扱う場合、mbstringモジュールを利用する場合が多いと思います。 日本語に特有の機能（カタカナの全角/半角変換など）も備わっていて、とても便利です。 しかし、日本以外ではmbstringモジュールはあまり利用されていないようです。 代わりに利用されているのがiconvモジュールで、 最近話題のフレームワーク、symfonyでも 国際化の機能を実現するために内部で利用されています。 iconvモジュールはPHP 5でPHPの本体に組み込まれました。 別途用意して組み込む必要があるmbstringモジュールと違って、最初から使用できるので便利ですね。 PHPのマニュアルのiconv関数のページを見ると、 いくつかの関数が定義されているのがわかります。 それぞれ、mbstring関数との 対応表を作ってみました。 iconv関数mbstring関数
PHPの次回リリースに向けたUnicodeのサポート作業 | OSDN Magazine
Andrei Zmievski氏は、PHPプログラミング言語のメイン開発者の1人である。2005年3月以降、同氏は約20名の開発者たちと共にPHPのバージョン6.0におけるUnicodeサポートの実現を目指して開発活動を続けてきたが、その努力は現在、至近に迫ったアルファ版のリリースという形で結実しつつある。 Unicodeとは、この世に存在するすべての文字をコンピュータ用キャラクタにマッピングすることを究極的な目的としたプロジェクトである。2006年秋にリリースされたUnicodeバージョン5.0段階での登録キャラクタ数は10万近くに達しているが、キャパシティとしては100万前後まで収容可能とされている。こうしたUnicodeをサポートする側のソフトウェア数も順調に増え続けており、その際のフォーマットとしてはUnicode Transformation Formats（UTF）に定められた
UTF-8 エンコーディングの危険性の補足 - WebOS Goodies
えー、昨日投稿した「UTF-8 エンコーディングの危険性」の記事ですが、なにを間違ったのか過去最高のアクセスを記録しています。その前の Ruby 用 JSON クラスの反響がさほどでもなく、今回も大したことないだろうと思っていたので、かなりびびってます（（（゜Д゜；）））ガクガク。はてぶコメントでも多くのご指摘をいただきまして、私自身反省している点もあるので、少し補足しておこうかと思います。 昨日の記事の意図は、まず単純に不正な UTF-8 シーケンスの存在を知ってもらい、そして具体的な対策として、入力の水際で不正な UTF-8 シーケンスを潰してしまおうというものです。ここが説明の足りなかった部分ですが、入力段で HTML などのエスケープをしようということではありません。 UTF-8 の正規化は HTML などのそれと違って二重にかけても結果が変わりません。また、目的はクライアントの保
UTF-8 エンコーディングの危険性 - WebOS Goodies
基本的に、まともな国際化ライブラリを使っていれば、上記のような不正な文字コードはきちんと処理してくれるはずです。実際、 Opera, Firefox, IE ともに適切にエスケープしてくれました。また、 UCS に変換した後にエスケープ処理を行うことでも対処できるかもしれません。しかし、複数のモジュールで構成されるような規模の大きいアプリケーションでは、そのすべてが適切な処理を行っていると保証するのも、なかなか難しいかと思います。ここはやはり、すべての外部入力に含まれる不正なシーケンスを、水際で正規化するという処理を徹底するのが一番かと思います。 例えば Ruby の場合、不正な UTF-8 コードを検出する最も簡単な方法は、 String#unpack を使って UCS へ変換してみることです（昨日の記事への kazutanaka さんからのはてぶコメントにて、 iconv でも同様なこ
Vista で導入される JIS X 0213:2004(JIS2004) のまとめ（お勉強編）
「日本語文字セットがVista最大の問題として急浮上：ITpro」 が初めのネタになったのですが、なかなか時間もとれず、この記事を書き始めてはや３週間も経ってしまいました・・・orz Windows Vistaは、新しい文字セットに関するJIS規格「JIS X 0213:2004」に準拠した日本語フォントを標準で搭載する。これにより、既存の漢字のうち122文字の字形が変更になり、約900文字の漢字、約200文字の非漢字（英語の発音記号や記号、アイヌ文字など）が新たに表示可能になる。 〜中略〜 さらに、追加される新しい文字の一部をUnicodeで表現すると、通常の2バイトではなく4バイトで表現されるものがある。 をみて、SJIS → UTF-8 → SJIS とかやると文字化けするものとかでるじゃん！大丈夫だっけ？大丈夫じゃなかったら、どんな対策をとったらいいんだっけ？ってのを考察しています
それ Unicode で
UTF-7 を使ってスクリプトを記述 +ADw-SCRIPT+AD4-alert(\'XSS\');+ADw-+AC8-SCRIPT+AD4- IE は、文字エンコーディングが不明で UTF-7 っぽい文字列があれば、自動判別で UTF-7 となる。
Unicodeは文字集合か符号化方式か : 404 Blog Not Found
2006年11月24日12:30 カテゴリLightweight Languages Unicodeは文字集合か符号化方式か 以下は、電脳で文字を扱う場合の基礎中の基礎なのだが、肝心の記事に重大な誤りがいくつもある。 文字コード規格の基礎：ITpro そろそろ具体的な説明に入ろう。最初にはっきりさせておく必要があるのは次の点だ。一般に「文字コード」と言う場合， 文字の集合 エンコード方法 という要素がある。この二つを区別して考えることが重要だ。もちろん大きな関連はあるのだが，ごちゃごちゃのままでは「わからなく」なる大きな要因となる。ここだ。 これによると、Unicodeは明らかに「エンコード方法」であるが、これは間違い。ここで書かれているものはUCS-2という名前のUnicodeが定めるいくつかの「エンコード方法」の一つであり、しかもUTF-16によって陳腐化した方式である。 まずUnic
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
404 Page Not Found. - GMOインターネット
ＰＨＰの文字化けを本気で解決する - ぎじゅっやさん
Windows help & learning