MySQLでcharacter_set_databaseがlatin1になってしまう問題の対応方法 - よかろうもん！
アプリケーションのバージョンアップなどでテーブル追加を伴うスキーマ変更があった場合に、テーブル追加したところのデータだけ画面で「？？？？」になって表示されてしまうことが稀にあります。 この対応方法について、発生理由と共に簡単に解説しておこうと思います。 結果だけを先に書いておくと、今回の根本原因はAmazonRDSを起動するときのパラメータグループの初期設定が不十分で、初回create database時に default character set に想定外のものがセットされていたためです。 下記ではその原因を特定する方法と解決方法を示していきます。 まずは文字化けした時に状況確認を行ってみてください。おそらくは下記のような状況になっているかと思います。※今回は文字コードを全てutf8に統一しているものとします。 まずは文字化けしているテーブルの情報を確認してみます。 mysql> sh
GitHub - peco/migemogrep: Search/grep against Japanese text using latin-1 text
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
MySQL/Rubyのバージョンをあげたら、MySQLから取ってきてたデータが全部文字化けしてたので、なんでかなぁ〜と思ったら... MySQLのデータベース内部のエンコーディングが、latin1になってた（汗 dumpしたSQLを見てる限り、文字コードがUTF-8のDBの中に、文字コードをlatin1に指定したテーブルを作っちゃってたらしい...orz MySQLとデータベース自体はEncoding=utf8だったので、どうやら昔のプラグインが悪さしてた？ MySQL/Rubyを、Webサーバ上のmysql-configがlatin1（もしくはエンコーディング設定無し）の状態でソースから入れたのが原因かなぁ〜？ まぁサーバ環境設定したのが1年以上前なんで、原因ははっきりとは分からずなのですが、ひとまず文字コードを「MySQL文字コードの移行」という記事を手本に、MySQL内部のlat
MYSQLの「character_set_server」をlatin1からutf8に変更したいのですが、うまくいきません。 - ●他サイト... - Yahoo!知恵袋
MYSQLの「character_set_server」をlatin1からutf8に変更したいのですが、うまくいきません。 MYSQLの「character_set_server」をlatin1からutf8に変更したいのですが、うまくいきません。 ●他サイトで調べてmy.iniを修正しました。 ------------------------------------------------------- CLIENT SECTION [mysql] default-character-set=latin1 から default-character-set=utf8 へ変更。 ------------------------------------------------------- SERVER SECTION [mysqld] default-character-set=latin1
フライトシミュレーター「リアルフライト」 値段が高いだけある！リアルなシミュレータです。シミュレーターから始めるのが壊さず上達する一番の近道です。 XOOPS Cube と MySQL 前回の日記XOOPS Cube と PHP5, MySQL5 の相性でも書いたが、新しいバージョンのOS、PHP、MySQLでXOOPSを再構築した時に、MySQL5でのDB作成時にどつぼにはまっていた。 既に作成済みのDBの文字コードを変更する とりあえずXOOPSの動作確認が取れた時のMySQLのデフォルトで作成した文字コードがlatin1のDBで、XOOPSの設定やコンテンツを登録したため、後になって問題が出てきた。 その問題とは、DBをバックアップ（ダンプ：mysqldump）した時に、ダンプファイルをテキストエディタで開くと、文字化けしているのである。無理矢理文字コードを変換すれば日本語で読める文
全回のRails勉強会で相談したネタですが、以前作成したDBでlatin1のテーブルにEUC-JPの日本語を格納してしまい、ダンプツールなどでうまく読み出せなくなってしまっていました。*1 とりあえずRailsからはbinaryで読みだし、日本語として表示できていました。でも、やっぱりUTF-8のほうが楽だよね、ということでMySQL5.0+UTF-8のテーブルに移行するため、データをダンプした際にこの過去のミスがもとでハマった、と。 Rails勉強会の場では「ActiveRecord経由で読み出せば救えるんじゃない？」というアドバイスをいただきまして、その結果うまく救出できたのでまとめをば。 与件 改めて状況をまとめますと、以下の感じでした。 MySQL4.1で文字コードlatin1のテーブルにEUC-JPの日本語を詰めてしまっていた。 上記は、binaryで読み出せば正常に表示できてい
移行元 DB:hoge mysql> show variables like 'collation%'; +----------------------+-------------------+ | Variable_name | Value | +----------------------+-------------------+ | collation_connection | latin1_swedish_ci | | collation_database | latin1_swedish_ci | | collation_server | latin1_swedish_ci | +----------------------+-------------------+ mysql> show variables like 'char%'; +--------------------
Journal of miyagawa (1653) - Perl UTF-8 and latin-1 woes
I've been thinking that I fully understand the Perl UTF-8 flag and Unicode stuff very well, with the professional experience handling I18N and L10N issues with Perl for more than 5 years.But it turns out that I still have something to learn, or things I've learned recently at least.So here's the code. #!/usr/bin/perl use strict; use warnings; use Encode; use File::Temp qw(tempfile); use XML::RSS;
Perl Tips: MySQL で、latin1_swedish_ci を utf8_general_ci に変換する方法
MySQL 4.0 と 4.1 では、文字コードの扱いの仕様が変わったらしい。特に 4.0 で日本語を扱っていて、4.1 にアップグレードしたいときには文字化けという非常にややこしい状況が生まれているようだ。 さて、レンタルサーバなどのホスティングプロバイダが勝手に MySQL 4.0 から 4.1 にアップグレードしたりすると、特に海外のレンタルサーバでは日本語のことなんかこれっぽっちも考えてくれてはいないため、私のケースではなぜか文字コードがすべて latin1_swedish_ci となっていた。同じ latin1 の中でも latin1_swedish_ci となるらしいのだ。 ゆえにこれを utf8 に変換したい。1レコードずつ変換するのだろうか？などと恐ろしい考えが一瞬頭をよぎったのだが、調べていくうちに以下の手順を踏めばよいことがわかった。 その答えはズバリ MySQL 4.
これ(↓)ですけど、utf8 フラグの立った文字列に、utf8 が立っていないけど \x80-\xff を含む文字列を連結しようとすると警告が出るのだと思い込んでいました。でも、やってみたら、警告でませんね。う〜む。そういうふるまいだったのか。 ⇒ subtech - Bulknews::Subtech - Fix dodgy utf-8 bytes すでに utf-8 なバイト列を latin-1 と解釈して utf-8 に二重エンコードすることで起きる文字化け（を表現する短い言葉ってないのかな）を直すコード。 で、私はあまのじゃくなので、逆を考えてみました。つまり連結するときに、どういう decode 処理をすれば、latin-1 と utf-8 を共存させることができるのだろうかと。 まずは下調べ。decode、decode_utf8 にどういう文字列を渡すと utf8 フラグが立ち
こないだいくつかのサービスやブログのデータベース移行を行った。 DBMSはおなじみMySQL。 移行と行っても停止して全然問題のないデータベースなので単純にmysqldumpして流し込むだけなのでお手軽簡単。 ただ移行前のMySQLは文字コードが完全バカ設定だったが、移行後のMySQLは真面目状態に設定した状態になっているので、文字コードにちょっと気を遣ってやる必要がある。 移行前のデータ 移行前のMySQLには入っているデータに二つのケースがある。 テーブルの文字コードがlatin1でUTF-8のデータが入っているケース テーブルの文字コードがUTF-8でUTF-8のデータが入っているケース 後者の場合は何も考えずダンプしたデータをそのまま流し込めばいいので苦労はないが、前者の場合は次の手順でダンプ内容をちょっと書き換える。 まずダンプする。 そのまま手を加えず取り出すためlatin1で
514design website is maintenance now. See you soon.
MySQL をインストールすると、デフォルトの文字コードは latin1 に設定されています。 この状態でも （ PHP など ） プログラム側で対応してれば、日本語マルチバイト文字も （ 見た目上 ） 問題なく使えるわけですが・・・ バックアップ （ mysqldump ） で化ける phpMyAdmin で化ける etc 百害あって一利なし な訳です。 というわけで、latin1 で作ってしまったデータベースを utf8 に移行する方法を説明します。 ※この方法だけではないと思いますし、最適かもわかりませんが、とりあえずできたので良しとします。
latin1 で作成したテーブルで運用しているデータを utf8 に変換する - 夜の Discovery
スプーキーズで rails を使って始めて作ったアプリケーションは、 社内用の簡単な就業管理システムなのですが、1年前に開発したもので当時は mysql と rails の文字コード周りの設定が曖昧なまま開発していたため、 テーブルの charset は latin1 だったりします。 rails 経由でデータを見る場合は問題ないのですが、MySQL Administrator や phpMyAdmin でデータを覗くと、 見事に文字化けしています。 そこで今回結構大きな機能アップをするタイミングで既存データを utf8 に変換してしまうことにしました。 まず latin1 で hoge_production データベースからデータをダンプします。 # mysqldump --default-character-set=latin1 hoge_production > ./db_dump.
[O] UTF-8のファイルがLatin1に文字化けしてたら「Encode::DoubleEncodedUTF8」
« 続きを読む記法を使うことにした | トップページ | Windows XPにメイリオフォント » UTF-8のファイルがLatin1に文字化けしてたら「Encode::DoubleEncodedUTF8」 [Perl] よりによって、このChangeLogをエディタで開いたら文字化けしていました。 文字化けの具合を見ると、定番のダブルエンコード(二重エンコード)で、latin1になっていました。 そんなわけで、miyagawaさんのPerlモジュール「Encode::DoubleEncodedUTF8」で文字化けを解消しました。 - fixdoubleencoded.pl #!/usr/bin/perl use strict; use warnings; use Encode; use Encode::DoubleEncodedUTF8; while (<>) { my $li
文字コードの変換や解析を行います。 文字化けを起こしたメッセージを読みたいときなどに効果があります。 escape変換： 「あいうえお」→「%u3042%u3044%u3046%u3048%u304A」 unescape変換： 「%u3042%u3044%u3046%u3048%u304A」→「あいうえお」
use utf8 環境下で => オペレータの左辺が UTF8 flag on になってしまう - daily dayflower ふむふむ。これは興味深い現象ですね。 まず初めにはっきりさせておくべきなのは、 latin-1の\x{a4} == U+00a4 == utf-8の\x{c2}\x{a4} であるということですね。 use URI; my $uri = URI->new('http://example.com/'); use utf8; $uri->query_form( bytes => "\x{a4}" ); print $uri, "\n"; #=> http://example.com/?bytes=%C2%A4 で、それを踏まえると上記の結果の何が問題なのか分からないですよね。utf-8エンコーディングの正しい結果のような気がします。 結果をlatin-1で出
Last updated in Jun-1998 Code set written: ISO-2022-JP (JIS) このページには、一文字ずつの細かい画像が大量に含まれています。そのため、Web ブラウザで「画像も表示する」設定にしている場合、表示終了まで時間がかかります。悪しからず。 ISO 8859-1 の Latin-1 (以降 Latin-1) は、アルファベットにウムラウトがついた文字など、英語以外のラテン系欧州語(フランス語、ドイツ語…)で使われるアルファベットを集めた文字セット (Character Set) です。 DOS/Windows, Mac の日本語環境では、文字コードが半角カタカナ(1バイトカタカナ)や日本語漢字と重なっているため、通常、日本語と同時に Latin-1 を入力表示することはできません。 Web ブラウザの場合は、HTML で Latin-1
参考： MySQL 4.1 から 5.0に、文字化けせずにmysqldumpでデータを移行する - Goodpic mysqlのコンソールから select * from table としても文字化けせずに表示されるのに、mysqladminや、set names utf8してから select * from table すると文字化ける件の解決方法。 (1, 'ãâ<80><9a>Ë<82>ãÂ<81>¿ãÂ<81>Å<92>ãÂ<81>ªãÂ<81>Å<92>ãÂ<81>ŠãÂ<81>â<80>¹Ã£Â<81>â<80><94>ãÂ<81>â<30><9e>？ãâ<80><9a>â<80><9a>ãÂ<81
Detailed descriptions of the characters [The ISO Latin 1 character repertoire]
Legend: The entries consist of A (large) glyph for the character. The appearance naturally depends on the font used by your browser. The name of the character, as defined in the ISO 8859-1 standard itself. In some cases, the Unicode name is given too, in parentheses. Not all name differences between ISO 8859-1 and Unicode standards are given; see notes on character names used in this document. Qui
文字コードの変換や解析を行います。 文字化けを起こしたメッセージを読みたいときなどに効果があります。 escape変換： 「あいうえお」→「%u3042%u3044%u3046%u3048%u304A」 unescape変換： 「%u3042%u3044%u3046%u3048%u304A」→「あいうえお」
ラテン1文字実体 Character Entities for ISO Latin-1 訳注：これは欧米の言語のために作られた文字コードを元にしています。ここに掲げられた文字のコード番号はJISコード番号と重複するため、日本語でこの文字実体を使うことはできません。 …まあ、日本語の文字はここには出てこないので、見りゃわかるとは思いますが。 <!-- (C) International Organization for Standardization 1986 この注意が全てのコピーに含められるならば、 準拠する SGML システムと国際標準化機構 8879 で定められた アプリケーションにおいて使用するためのあらゆる形式による 複製の許可が認められる。 これはHTMLでの使用において、160から255までの十進数で 全てのコードをカバーするために拡張されている。 Permission to
Yahoo! Widgets の Google Calendar モジュールだと日本語が化けすぎ。 何と間違ってるんだろう、と調べてみたところ、Google Calendar から送られてくるデータはutf-8 なのに、それを Latin1であると解釈して、ユニコードに変換しているっぽい。Latin1の7ビット範囲内はUTF-8と互換なのだが、8ビット範囲の文字は変換が必要なのだ。そこで、それを元に戻す関数を作ってみた。 // Latin1 -> utf8 変換表 0 の部分があるけど大丈夫かな… Latin1_ary = [8364,0,8218,402,8222,8230,8224,8225,710,8240,352,8249,338,0,381,0,0,8216,8217,8220,8221,8226,8211,8212,732,8482,353,8250,339,0,382,376
Last updated in Jun-1998 Code set written: ISO-2022-JP (JIS) このページには、一文字ずつの細かい画像が大量に含まれています。そのため、Web ブラウザで「画像も表示する」設定にしている場合、表示終了まで時間がかかります。悪しからず。 ISO 8859-1 の Latin-1 (以降 Latin-1) は、アルファベットにウムラウトがついた文字など、英語以外のラテン系欧州語(フランス語、ドイツ語…)で使われるアルファベットを集めた文字セット (Character Set) です。 DOS/Windows, Mac の日本語環境では、文字コードが半角カタカナ(1バイトカタカナ)や日本語漢字と重なっているため、通常、日本語と同時に Latin-1 を入力表示することはできません。 Web ブラウザの場合は、HTML で Latin-1
文字コード latin1 の MT4 を utf8 の MT5 に移行する方法 | Movable Type | かたつむりくんのWWW
MySQL の文字コードが latin1 の MT4 を、文字コードを utf-8 に変換した上で MT5 に移行する方法です。うまくいくでしょうか（理解が足りない部分もあると思うので、ご指摘ください）。 今回は、MAMP のローカル環境で実験してみたいと思います。 MySQL の文字コードが latin1 の MT4 この MT4 には以下のような2つのブログが存在しています（かっこ内は ID）。 My First Blog（ブログ：1） Movable Type へようこそ！（ブログ記事：1） ファーストブログ公開（ブログ記事：2） My Second Blog（2） セカンドブログ公開（ブログ記事：4） また、データベース名は「mt4」です。 データベースをダンプする まずは、このデータベースの文字コードを確認してみます。ターミナルから次のコマンドでデータベースにログインします（デー
Firefox web browser - Faster, more secure & customizable Mozillaは7月21日(米国時間)、「Slimmer and faster JavaScript strings in Firefox｜JavaScript」において、JavaScriptエンジンの文字列データの一部を16ビット表現(UTF-16)から8ビット表現(Latin1)へ変更することで、Firefoxの文字列処理の速度向上とメモリ使用量の削減に成功したと伝えた。 Mozillaはこれまで、FirefoxのJavaScriptエンジンにおいてメモリ使用量の削減や処理速度向上に取り組んできた。その結果、状況に合わせて適切な性能が発揮できるようにいくつかの新しい文字列型が追加されるなど、文字列回りの性能は改善されてきたが、文字列そのものはUTF-16で保持されていた。
#8448 ([PATCH] ActiveRecord::Base.connection.create_database (MySQL adapter) only creates latin1 databases) - Rails Trac - Trac
mysql, connection, adapter, utf8, unicode, charset, collation, bootstrap, drop, create Description ActiveRecord::Base.connection.create_database doesn't let you specify the character set and collation to be used. This patch lets you create databases by specifying the charset and collation. By default, new databases are utf8. It also adds a method to retrieve the database character set and anothe
Dockerの公式MySQLはcaracter-set-serverがlatin1で文字化けするのでutf8かutf8mb4にしたい | Unskilled?
マルチバイト語族をなめてんのか ごっつり文字化けするんですよね…。 Dockerの公式MySQLはcaracter-set-serverがデフォルトのまんまのlatin1です。 そりゃASCII文化圏ならutf8だろうがlatin1だろうが文字化けしないだろうさ…。 でもマルチバイト語族は常に、つ、ね、に、文字化けの恐怖に晒されるのですよ。 そこで今回はDockerの公式MySQLでちゃんと日本語を扱えるようにするための方法をまとめてみました。 記事ではMySQL5.7(mysql/5.7/Dockerfile)を使っています。 文字化けについてちょっとした説明 設定変更の方法を紹介する前にちょっとした説明です。 MySQLで文字化けの原因となるのは caracter-set-serverがデフォルトのlatin1のままになっている為というのがあります。 日本語を扱うにはマルチバイトの文字
Yahoo! Widgets の Google Calendar モジュールだと日本語が化けすぎ。 何と間違ってるんだろう、と調べてみたところ、Google Calendar から送られてくるデータはutf-8 なのに、それを Latin1であると解釈して、ユニコードに変換しているっぽい。Latin1の7ビット範囲内はUTF-8と互換なのだが、8ビット範囲の文字は変換が必要なのだ。そこで、それを元に戻す関数を作ってみた。 // Latin1 -> utf8 変換表 0 の部分があるけど大丈夫かな… Latin1_ary = [8364,0,8218,402,8222,8230,8224,8225,710,8240,352,8249,338,0,381,0,0,8216,8217,8220,8221,8226,8211,8212,732,8482,353,8250,339,0,382,376
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
MySQLに既に存在するデータベース内部の文字コードを、latin1からutf8に変換する方法。
MySQL5の既存DB文字コード変更（latin1からujis) | Wingnotes
MySQL4.1でlatin1なテーブルに格納された日本語データのサルベージ - moroの日記
latin1のDBからdumpしたデータをutf8のDBに移行するよー - てきとう
may_decode('latin1', "...") - Tociyuki::Diary
MySQLのデータベース移行 latin1からutf8へ - ひげろぐ
MySQLの文字コードをlatin1からutf8へ変更する。 | 514design
徒然なるままに・・・ | [MySQL] latin1 を utf8 へ
文字コードの解析、変換（ISO-Latin-1） / SEO、セキュリティ、調査ツール
へぼへぼCTO日記 - latin-1 is not utf-8
ISO 8859-1 (Latin-1) Character Set
mysqldumpでlatin1のデーターベースを文字化けせずに出力 - Qiita
文字コードの解析、変換（ISO-Latin-1） / SEO、セキュリティ、調査ツール
HTML 3.2 ラテン1文字実体 Character Entities for ISO Latin-1
文字化けを解消するかもしれない Latin1toUtf8
ISO 8859-1 (Latin-1) Character Set
Mozilla、Latin1の活用でFirefoxの文字列処理性能とメモリ使用率を向上
文字化けを解消するかもしれない Latin1toUtf8 - nazokingのブログ