convmvコマンドでファイル名の文字コードを一括で変更する - にたまごほうれん草アーカイブ
Windows環境からLinux(Ubuntu)環境にファイルを転送したときにファイル名に日本語を用いていると、Ubuntu側で文字化けしてしまいます。どうやら、Windows側はShift_JISで、Ubuntu側はUTFｰ8でファイル名を管理していることが原因のようです。 転送にWinSCPを使っていると、アプリケーションではこの違いを吸収することができないとのことなので、転送後にUbuntu側でファイル名を一括変更するという対応をすることにしました。 その際に使うのがconvmvというコマンドです。 Ubuntuならば、 $ sudo apt-get install convmvでインストールできます。 その後、 convmv -f sjis -t utf8 *で変換後のファイル名を確認し（この時点ではまだファイル名変換は実行されません）、 convmv --notest -f sj
文字コードをUTF-8に変更する。 - kariostroの日記
■既存DBの変更 $>mysql -u root -p Password: mysql> set names utf8; ■設定 [mysqld] default-character-set=utf8 ←追加 character_set_server=utf8 ←追加 [mysql] default-character-set=utf8 ←追加 ■再起動 $> sudo /etc/init.d/mysql restart ■確認 mysql> show variables like 'character%'; mysql> show variables like 'character%'; +--------------------------+----------------------------+ | Variable_name | Value | +----------------
Ubuntu Server セットアップ備忘録 (5) - MySQL サーバの設定変更 - kamicupの備忘録
1. "mysql" コマンドで初期設定を確認します。 mysql> status ... Server characterset: latin1 Db characterset: latin1 Client characterset: latin1 Conn. characterset: latin1 ...このままだと文字化けする筈なので、utf-8 エンコーディングを使うよう、設定を変更する必要があります。 2. /etc/mysql/my.cnf に下記内容を追記。 [client] default-character-set=utf8 [mysqld] default-character-set=utf8 skip-character-set-client-handshake 3. "sudo /etc/init.d/mysql restart" で MySQL サーバを再起動し
久保木：Python文字の取り扱い - 長岡技科大 自然言語処理研究室
[編集] ここでの説明 基本的にPerlを少し使った事のある人がPythonを勉強した時に作ったメモを整理した物です。 文字を取り扱う処理におけるよく利用する基本的な処理をまとめてあります。 [編集] オブジェクト（変数） Pythonでも変数の型定義のような原則行いません。Perlでいう「use strict」を使わない状態と考えてください。 変数の定義は、以下のように行います。 変数名=""#文字列 変数名=[]#リスト 変数名={}#ディクショナリ 代入例 >>>mojirestu="文字列" >>>list=[0,1,2,3,4] >>>dic={"key1":"content1","久保木":"武承"} 実行例 >>>print mojiretsu 文字列 >>>print list [0,1,2,3,4] >>>print list[0] 0 >>>dic {'key1
日本語文字列コード問題まとめ
【1】 文字列コード問題との戦い Pythonに限った話ではないのですが、 日本語を取り扱うコードを書いていると やっかいなエンコーディングトラブルに遭う事は少なくないでしょう。 エンコーディングトラブルとは コンパイラ・インタプリタがソースコードを解釈できない。 画面表示が化ける。 意図した入力ができない。 エンコード・デコード時にエラーがでる。 正しいファイル名のつもりなのにファイルが見つからない。 出力させたファイルの中身が読めない。 などといった現象を基本としていろんな問題を引き起こします。 問題のすべては「コード変換」に発生します。 実際の文字列が何のエンコーディングで、 渡す先が何のエンコーディングを期待しているか？ それらを確認して合致させるように変換をするということが基本です。 【2】 「Python日本語版が必要」というのは誤解 P
Electronic Genome - nkfとiconvによる文字コード・改行コード変換
UTF-8に対応しているnkfとiconvで文字コードや改行コードを変換するメモ。実行はUbuntu7.10で、ロケールは以下のようにja_JP.UTF-8。 $ echo $LANG ja_JP.UTF-8 ■インストール nkfのインストール $ sudo apt-get install nkf パッケージリストを読み込んでいます... 依存関係ツリーを作成しています... Reading state information... 以下のパッケージが新たにインストールされます: nkf アップグレード: 0 個、新規インストール: 1 個、削除: 0 個、保留: 8 個。 116kB のアーカイブを取得する必要があります。 展開後に追加で 295kB のディスク容量が消費されます。 取得:1 http://jp.archive.ubuntu.com gutsy/universe nkf
nkf Network Kanji Filter プロジェクト日本語トップページ - OSDN
インストール Makefile があるので、 CC CFLAGS PERL が正しいかどうかを確認して、make してください。Linux, Solaris, Mac OS X で動作確認しています。 mkstemp がない場合は、config.h の #define OVERWRITE をコメントア... インストール方法を見る 使い方 nkf - ネットワーク用漢字コード変換フィルタ SYNOPSISnkf B<[-butjnesliohrTVvwWJESZxXFfmMBOcdILg]> B<[>I<file ...>B<]> DESCRIPTIONnkf はネットワークでメールやニュースの読み書き... 使い方を見る
Pythonで unicodedata.normalize を使って全角半角を正規化する方法
（この記事は 2008年03月14日に別のブログに投稿した記事を移動・編集したものです。） インターネット上の日本語を扱っていると、全角半角が統一されていない事による表記揺れをなんとかしたい場面に出くわします。半角で書かれた iPod も、全角で書かれたｉＰｏｄも同じものとして扱いたいときや、あるいは単に見た目がきれいになるように、英数字は半角に、カタカナは全角にそろえたい、という場合です。 Python では setomitsさんによる zenhan.py を使うと、文字種ごとに全角半角を選択して変換することができ、除外文字も設定できるので便利です。ただ、そこまで柔軟でなくても良く、単に表記揺れがなくなれば良い、という場合も多いかと思います。その場合はPythonの標準ライブラリに含まれる unicodedata モジュールの normalize 関数を使うと便利です。 >>> impo
Pythonでの日本語処理：Unicode型と文字列型 - 思い立ったら書く日記
Pyhton の XML/HTML パーサ・ライブラリ BeautifulSoup を使って、Google の検索結果を整形する Python スクリプトを書いたところ、Python の日本語処理で UnicodeEncodeError、UnicodeDecodeError ではまった。いい機会なので、Python で日本語処理に関して、自分なりに整理してみる。 この記事は Windows での Python 2.5.1 で動作確認している。Python 3.x では改善しているかもしれないので、この記事を読む方はご注意を。Python 3.x については時間があれば確認したい。というより、早くバージョンアップしなさい！という感じですが。 [2009.09.22 追記] Python 3.0 で Unicode まわりがかなり修正かかっていました。この記事を読む方は、Python 2.5.
Python でUTF-8, shift_jis, euc_jpなど日本語を使う方法
[Home] [Setting up Mac OS X] [Python]: [ファイルを読む] 日本語を使う Pythonで日本語を使う Python 2.4以降では、標準で日本語を扱うことができます。 PythonのソースコードをUTF-8で書くには 日本語を扱うPythonのスクリプトの中では、UTF-8の文字コードを使うのが 楽です。 Mac OS Xのターミナルで日本語を扱う場合は、 ここの「4. Terminalの設定を変える」の 指示に従ってください。 以下、ソースコードの簡単な例を示します。 #!/usr/bin/env python # -*- coding: utf-8 -*- import re jtext = u'子猫が隠れんぼをしています' print 'jtext has', len(jtext), 'Japanese characters.' if re.se
iconvの「UTF-8」はBOMが無いものとみなす - yanok.net
文字コード変換プログラムのiconvでは、文字コード「UTF-8」において、入出力ともにBOMを用いません。 出力においてBOMを使わないということは、すぐに納得がいくことと思います。UTF-8として出力されるバイト列の先頭にBOMがつかないということです。 かたや、入力においてというのがどういうことかというと、BOMに相当するバイト列を 見ても、それをBOMとは認識しないということです。 つまり、データ先頭にEF BB BFという3バイトがあったら、それをBOMとして消費するのでなく、単なる普通の1文字のように扱うのです。 ちょっと実験してみましょう。 UTF-8にBOMを付けて出力するプログラムとしてポピュラーなのはWindowsのメモ帳です(XPで確認)。メモ帳でUTF-8としてテキストを保存するともれなくBOMがついてきます。 例えば、メモ帳で「あ」とだけ書いて改行し、UTF-8で
改行コードの変換と上書きモードについて。あるいは iconv と nkf に見る思想の違い - 玉虫色に染まれ!!
前エントリで id:CCG さんからコメントにてご指摘がありましたので、その点について補足のエントリを書きます。完全に続きの話なので、未読の方は、まず前エントリをご参照下さい。 改行コードの変換 文字コードを変換する場合は、同時に改行コードも変換したくなる事が多いかと思いますし、実際、 nkf ではそういった変換をサポートしていましたが、 iconv には改行コードの変換機能はありません。 したがって、改行コードを変換したい場合には別のコマンドを併用する必要があります。改行コードの変換は、 tr や sed で力技で片付けるのも手です*1が、 dos2unix とか unix2dos といった簡便なコマンドもあります。 $ iconv -f SHIFT-JIS -t UTF-8 README.TXT | dos2unix > readme.txt.utf8 （文字コードが Shift JI
Ubuntu Forums
vBulletin ©2000 - 2024, Jelsoft Enterprises Ltd. Ubuntu Logo, Ubuntu and Canonical © Canonical Ltd. Tango Icons © Tango Desktop Project. User contributions on this site are licensed under the Creative Commons Attribution Share Alike 4.0 International License. For details and our forum data attribution, retention and privacy policy, see here
Ubuntu Forums
vBulletin ©2000 - 2024, Jelsoft Enterprises Ltd. Ubuntu Logo, Ubuntu and Canonical © Canonical Ltd. Tango Icons © Tango Desktop Project. User contributions on this site are licensed under the Creative Commons Attribution Share Alike 4.0 International License. For details and our forum data attribution, retention and privacy policy, see here
nkfを使って、ディレクトリ以下のファイルを「EUC-JP」⇒「UTF-8」に一括変換する。 - カサヒラボ
いろいろ方法はありそうですが。。。 はじめに、教えてもらって、良いなと思ったのはこちら。 $ find . -type f -name "*.php" -exec nkf -w --overwrite {} ; findでディレクトリ以下のphpファイルを見つけて、execでnkfしています。 なるほど、と思ったのですが、UTF-8 への移行計画 - いやなブログさんより、 さらにいいコマンドが紹介されてました。 EUC-JP の.php、.incファイルを UTF-8 に一括変換する場合 $ nkf -Ew **/*.php.inc | nkf --guess UTF-8 $ nkf -Ew --overwrite **/*.php.inc 最初の実行で、変換結果が正しく UTF-8 になるか確認しているようです。 （もし文字化けが起きた場合は BINARY という表示になるみたい） *
ファイルの文字コードを一括変換 (find, nkf, xargs)
► 2024 (1) ► 8月 2024 (1) ► 2023 (1) ► 12月 2023 (1) ► 2022 (4) ► 2月 2022 (1) ► 1月 2022 (3) ► 2021 (29) ► 12月 2021 (3) ► 9月 2021 (1) ► 7月 2021 (9) ► 6月 2021 (2) ► 5月 2021 (1) ► 4月 2021 (2) ► 3月 2021 (1) ► 2月 2021 (10) ► 2020 (15) ► 12月 2020 (2) ► 10月 2020 (1) ► 9月 2020 (2) ► 5月 2020 (5) ► 4月 2020 (3) ► 1月 2020 (2) ► 2019 (4) ► 12月 2019 (2) ► 10月 2019 (1) ► 9月 2019 (1) ► 2018 (1) ► 3月 2018 (1) ► 2017
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://www.border.jp/midilin/memo/index.php?UID=1153728252
サービス終了のお知らせ
海外FX攻略ナビ ｜海外FX攻略方法、おすすめ口座、おすすめの攻略法を解説
サービス終了のお知らせ