MySQLの文字コード変更
MySQLを5.7から8へバージョンアップする過程で、文字コードを utf8mb4 に変更する必要が生じたため、方法をメモします。 現在の状況確認↓まずMySQLに接続して、現在の状況を確認します。 # MySQLへ接続 mysql -u root -p # 変更対象のDBを選択 mysql> use hogehoge; # 文字の設定を管理している環境変数を表示 mysql> show variables like "chara%!"(MISSING); # 出力結果 +--------------------------+----------------------------+ | Variable_name | Value | +--------------------------+----------------------------+ | character_set_clie
Linux ファイルの文字コード確認・変換 - Qiita
文字コード、改行コード変換する際、 毎回忘れてしまうので備忘録としてまとめてみました 【文字コード確認方法】 nkf --guess ファイル名 file -i ファイル名 【文字コード変換】 １．vi/vimの場合 :set fileencoding=文字コード :set fenc=文字コード ２．コマンドの場合 iconv/nkf iconv フォーマット：iconv -f ファイルの文字コード -t 変換させる文字コード 対象ファイル サンプル： iconv -f SHIFT_JIS -t UTF-8 shift_jis.csv > utf-8.csv nkf フォーマット： nkf 変換させる文字コード shift_jis.csv サンプル： nkf -w shift_jis.csv > utf-8.csv -w(utf-8), -s(shift_jis), --overwrite
円記号問題とウェブブラウザ - はてなるせだいあり
起源 円記号問題の始まりは1960年代にまで遡ります。1967 年に文字コード最初の国際規格である ISO R 646 が制定されましたが、その規格では 0x5C をはじめとして一部の文字が置き換え可能になっていました。アメリカの制定した ASCII では 0x5C に対して REVERSE SOLIDUS を割り当てました。一方、日本版である JIS X 0201 では YEN SIGN を割り当てました。 問題の拡大 7bit では扱いきれない文字を扱うため、世界で ISO 646 系のコードを拡張した文字コードが生まれました。日本ではシフトJIS、日本語 EUC、いわゆる JIS コードの三種類の文字コードが現れ、それぞれに多くの亜種が生まれました。では、それぞれの文字コードの 7bit 領域は ASCII と JIS X 0201 のどちらだったのでしょうか。 日本語 EUC 日本
CJKV - Wikipedia
CJKV は、中国語・日本語・朝鮮語・ベトナム語 (英: Chinese-Japanese-Korean-Vietnamese) の略。特に、その四言語で共通して使われる、または使われていた文字体系である漢字（チュノムを含む）のこと。ソフトウェアの国際化、中でも文字コードに関する分野で用いられる。 比較的早くに漢字を廃止し、漢字に含めるべきか諸説あるチュノムを擁するベトナム語を除いた中国語、日本語、朝鮮語の頭文字だけをとって CJK と呼ぶこともある。主な東アジアの書記系を総称するときに用いられる。用語の使用頻度は CJKV より CJK のほうが多いが、CJK と言いながら実際は CJKV について述べていることも多い。
Fixing Unicode for Ruby Developers
We’ve already learned about the history of Unicode and how it works under the hood. In this final part, we’ll learn the theory and practice of handling Unicode properly. Before we get into practice I’d like to talk a bit about Unicode support in Ruby language. If you’re not a Ruby developer, feel free to scroll past the first chapter. Unicode + Ruby = 😢This header suggests, that Ruby and Unicode
Unicode Normalization in Ruby
I recently published an article in which I tested most of Ruby's string methods with certain Unicode characters to see if they would behave unexpectedly. Many of them did. One criticism that a few people had of the article was that I was using unnormalized strings for testing. Frankly, I was a bit fuzzy on Unicode normalization. I suspect that many Rubyists are. Using normalization, you can take m
PostgreSQLのinitdbでEncodingが指定通りにならない
下記の条件でPostgreSQLの構築をしたら初っ端からハマった。 – CentOS 6.5 （さくらVPS） – PostgreSQL 9.3 PostgreSQLインストール後、データベースクラスタの初期化を行うためinitdbコマンド使用するが、この際に指定したはずの文字コードが設定されない。 データベースクラスタの初期化には、他所のサイトを参考に下記のコマンドを実行した。 service postgresql-9.3 initdb –no-locale -E UTF8 （wordpressではなぜかハイフン2つが続くと省略されるが、上記のno-localeの前のハイフンは2つ） これにより、本来であればロケールの設定は無効、文字コードはUTF8に設定される。 …と思っていたがそうはならなかった。 下記のコマンドで、DBの一覧を表示してみると、実際にされている文字コード（Encodi
エンディアン - Wikipedia
この記事は検証可能な参考文献や出典が全く示されていないか、不十分です。 出典を追加して記事の信頼性向上にご協力ください。（このテンプレートの使い方） 出典検索?: "エンディアン" – ニュース · 書籍 · スカラー · CiNii · J-STAGE · NDL · dlib.jp · ジャパンサーチ · TWL (2016年7月) この記事には独自研究が含まれているおそれがあります。 問題箇所を検証し出典を追加して、記事の改善にご協力ください。議論はノートを参照してください。（2016年7月）
AppleScript for OS X
Macintosh OSXのアップルスクリプトについての覚え書き。自分用なので説明が足りなかったり、順番バラバラだったり、あまり参考にならないかも。間違った記述があ るかもしれません。特に断わりがない限り、このページ内ではXcodeを使ったAppleScriptの開発のことです。 ページ内にスクリプトがいくつか書いてありますが、ご利用はご自由にどうぞ。ただし、これらを使って何らかの損害を被ってもいっさいの補償はあり ません。アンドなんかバグってるかも。オウンリスクでね。 いやー、しかしOS XではAppleScriptに簡単にインターフェースがつけられたり、便利な世の中になりましたな。これで処理速度がもう少し……それは言わない約束 よ。 新規プロジェクト AppleScript Droplet propertyに注意 自作ルーチン 自分のパスを取得する AppleScriptとP
Unicodeの互換文字 - Wikipedia
Unicodeの互換文字（ごかんもじ、英語: Compatibility Character）とは、ユニコードコンソーシアムが使わないことを推奨している、図形文字の一群である。UnicodeとUCSについて議論するときに言及されることが多い。 Unicodeコンソーシアムの用語集[1]によると、既存の文字コードとの互換性と往復変換のためだけに収録された文字のことである。 しかし、定義はその用語集に表れているものよりも複雑である。ユニコードコンソーシアムが文字に与えている特性[2]（英: Property）の1つとして、文字の分解や互換分解がある。ほとんどの文字はこの特性に値を持たないが、5千を超える文字に互換文字から1つかそれ以上の他の文字へ互換分解がある。Unicodeは分解特性が設定されている文字が互換文字であると定めている。これらの互換性を指示することの理由はさまざまであり、詳細は後
CJK統合漢字 - Wikipedia
CJK統合漢字（シージェーケーとうごうかんじ、英: CJK unified ideographs）は、ISO/IEC 10646（略称：UCS[1]）およびUnicode（ユニコード）にて採用されている符号化用漢字集合およびその符号表である。CJK統合漢字の名称は、中国語（英: Chinese）、日本語（英: Japanese）、朝鮮語（英: Korean）で使われている漢字をひとまとめにしたことからきている。 CJK統合漢字の初版であるUnified Repertoire and Ordering第二版は1992年に制定されたが、1994年にベトナムで使われていた漢字も含めることにしたため、CJKV（CJKV統合漢字）と呼ばれることもある。CJKVは、中国語・日本語・朝鮮語・ベトナム語（Vietnamese）を表す英語の頭文字である。特にその四つの言語で共通して使われる、または使われてい
波ダッシュ・全角チルダ問題 - Wikipedia
Unicode（ユニコード）とは、ユニコードコンソーシアムによって定められた文字コードの標準規格である。符号化文字集合や文字符号化方式などを定め、文字集合（文字セット）が単一の大規模文字セットであること（「Uni」という名はそれに由来する）などが特徴である。 従来、各国の標準化団体あるいは各コンピュータメーカーによって独自に開発されていた個々の文字コードの間には互換性がなかった[1]。ISO/IEC 2022のように複数の文字コードを共存させる方法も考案されたが、例えば日本語の漢字と中国語の漢字のように、文字が重複する短所がある。一方Unicodeは、微細な差異はあっても本質的に同じ文字であれば一つの番号を当てる方針で各国・各社の文字コードの統合を図った規格である[1]。1980年代に、Starワークステーションの日本語化（J-Star）などを行ったゼロックスが提唱し、マイクロソフト、Ap
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
「ASCIIをUTF-8にして」それが『できない』ことを理解してもらえなかった話 - Qiita
WindowsにおけるRubyのエンコーディングの話 Ruby3版/Ruby's encoding on Windows at Ruby3
GitHub - toomasv/unicode
GitHub - qntm/base65536: Unicode's answer to Base64
UIC
pandasでread_csv時にUnicodeDecodeErrorが起きた時の対処 (pd.read_table()) - Qiita
Why is this LSEP symbol showing up on Chrome and not Firefox or Edge?
elixir-lang.github.com/getting_started/6.markdown at translate-into-japanese · niku/elixir-lang.github.com