SHA-256 e3b0c44298fc1c149afbf4c8996fb92427ae41e4649b934ca495991b7852b855 SHA-384 38b060a751ac96384cd9327eb1b1e36a21fdb71114be07434c0cc7bf63f6e1da274edebfe76f65fbd51ad2f14898b95b SHA-512 cf83e1357eefb8bdf1542850d66d8007d620e4050b5715dc83f4a921d36ce9ce47d0d13c5d85f2b0ff8318d2877eec2f63b931bd47417a81a538327af927da3e
サンプルコードによるPerl入門
文字列 数値をASCII(アスキー)コードに対応する文字に変換するには、chr関数を使用します。 #!/usr/bin/perl use strict; use warnings; # ASCII文字コードでは65,66,67はそれぞれ 'A','B','C'に対応する。 my $a_num = 65; my $b_num = 66; my $c_num = 67; print chr( $a_num ), "\n"; print chr( $b_num ), "\n"; print chr( $c_num ), "\n"; __END__ 続きを読む
mysql> status; -------------- mysql Ver 14.7 Distrib 4.1.20, for redhat-linux-gnu (i386) using readline 4.3 Connection id: 36 Current database: staff2006 Current user: maiha@localhost SSL: Not in use Current pager: lv Using outfile: '' Using delimiter: ; Server version: 4.1.20 Protocol version: 10 Connection: Localhost via UNIX socket Server characterset: latin1 Db characterset: latin1 Client char
KLab
ご指定のページが見つかりませんでした URLの変更、もしくはページが削除された可能性があります。 お手数ですが、以下のリンクから目的のページをお探しください。
Salesforce
各部門・役割で抱える悩みの原因・症状・解決策を解説し、“デジタルを活用した変革” を実現する方法を紹介します。
補足 この記事は旧徳丸浩の日記からの転載です（元URL、アーカイブ、はてなブックマーク1、はてなブックマーク2）。 備忘のため転載いたしますが、この記事は2010年9月27日に公開されたもので、当時の徳丸の考えを示すものを、基本的に内容を変更せずにそのまま転載するものです。 補足終わり PHPカンファレンス2010にて「文字コードに起因する脆弱性とその対策」というタイトルで喋らせていただきました。プレゼンテーション資料をPDF形式とslideshare.netで公開しています。 文字コードのセキュリティというと、ややこしいイメージが強くて、スピーカーの前夜祭でも「聴衆の半分は置いてきぼりになるかもね」みたいな話をしていたのですが、意外にも「分かりやすかった」等の好意的な反応をtwitter等でいただき、驚くと共に喜んでいます。土曜にPHPカンファレンスに来られるような方は意識が高いというの
前回からの続き。 改行コードの違いを体感してみる - ザリガニが見ていた...。 文字エンコードとロケールを体感する - ザリガニが見ていた...。 改行コードの違いも知った。文字コードとロケール、ターミナルの言語環境との関係も知った。これで文字にまつわる悩みとはおさらばできると思ったら、まだダメだった...。 実験環境 OSX 10.8 Mountain Lion以前((OSX 10.9 Mavericksでは、Mac仕様なNFDのUTF-8を表示しようとするとエラーになってしまったため、10.8以前の環境で実験した。Assertion failed: (width > 0), function conv_c, file /SourceCache/shell_cmds/shell_cmds-175/hexdump/conv.c, line 137. ** ** Abort trap: 6
2004.10.17 新規作成。2004.12.19 加筆。2005.04.02加筆。 最近、コンピュータで扱う文字列の文字コードがUnicodeでなければならない場面が増えてきた。UnicodeとシフトJIS、EUC-JPを変換する機会が多い。この変換は変換表で行うが、変換表が実際的なものでなければ、文字化けが発生することになる。 おかしな変換表は、これまでは、特にLinuxなどの上で動作するオープンソースソフトウェアで多く見られた。おそらく規格原理主義者が多かったためだろう。そもそも、規格どおりに変換表を作ると、実用的な変換表にはならない。しかし、最近ではまともな変換表を実装しているものも増えてきて、うまく選ぶだけでいいようになってきている。 変換表の違いをまとめたページはよく見かけるが、実際にどのような条件を満たして変換するものを選べばいいか不明なので、まとめてみた。 変換表に求めら
日本語URL変換ツール 日本語URL（ドメイン（Punycode）、パス）のエンコードとデコードを行います。 変換したいURL・ドメイン・パスの入力 変換モード： URL ドメイン ファイル名 文字コード： UTF-8 EUC-JP SHIFT-JIS 変換結果 動作モード： Punycode only version © 2007-2022 N7.com
先日の記事 いまさらgrepが10倍高速化したのはなぜか が思わぬ閲覧数を稼いでしまい、トルコ語の知識を日本に広めるのに大きな貢献をしたような気がしますが、みなさんいかがお過ごしでしょうか。 実は先日の記事を書いた時にはすでに2.18がリリースされてたのだが、今回は2.17のときと違って日本の大手メディアが取り上げてなかったので、ついつい見落としていた。しかし実は2.18でも大きな変更が！！ リリースノート抜粋： grep -i in a multibyte, non-UTF8 locale could be up to 200 times slower than in 2.16. [bug introduced in grep-2.17] なんということでしょう。-iオプションでUTF8のときは2.17で10倍速くなっていたのだが、それ以外のマルチバイトロケールのときは200倍遅くなって
Terminal
Mac OS X ターミナルでの日本語の扱いについて 2005/05/09 Update ◆ はじめに Mac OS X v10.2（以降）のターミナルは、UTF-8に対応し、多言語の表示が可能となった。 -vオプション付きでlsコマンドを実行するとUTF-8で記録された日本語名のファイルやフォルダも正しく表示される。 しかし、デフォルトの状態ではコマンドラインへの日本語の直接入力に対応していないため使いにくい。 本ページは、Mac OS Xのターミナルで日本語を扱う際の設定等をまとめたものである。 OSのバージョン固有の設定は[10.4]のように表記している。 特に指定の無いものはバージョン共通の設定である。 なお、Mac OS X v10.2ではデフォルトのシェルがtcshであったが、Mac OS X v10.3以降ではbashに
Index of /
Index of / NameLast modifiedSizeDescription ChangeLog2014-03-18 16:11 3.8K index.html.en2014-03-18 16:11 7.1K index.html.ja2014-03-18 16:11 14K kakasi.css2000-01-25 00:55 800 orz.gif2004-05-24 22:17 4.1K robots.txt2000-01-25 00:55 0 stable/2014-03-18 15:40 - Apache/2.4.56 (Debian) Server at kakasi.namazu.org Port 80
Linuxで文字コード変換コマンドする方法 LinuxはUTF8が普通になりました。EUC環境もまだまだ多く文字コード変換が必要になることもあります。 文字コード変換コマンド nkf。 使い方 nkf オプション ファイル [> 出力ファイル]よく使うオプション オプション一覧 -e : EUCコードを出力 -s : Shift-JISコードを出力 -w : UTF-8コードを出力（BOM無し） -g : 自動判別の結果を表示 --overwrite : 引数のファイルに直接上書き覚え方 -w / -W 大文字小文字はペア。 入力は大文字、出力は小文字。sjis-> utf8なら、入力-S 出力 -w で -Sw。入力は自動判別で十分で余り使うことがないので最後に書いた。 使用例 文字コードチェック nkf -g readme.txt UTF8に変換 nkf -w --overwrite
Last Updated: 2010-09-03 Repository: http://github.com/vmi/cocot Binary (for Cygwin-1.7): cocot-20100903-bin.tar.bz2 Old Versions: cocot-20080315.tar.bz2, cocot-20041220.tar.bz2, cocot-20040229.tar.gz, cocot-20030603.tar.bz2, cocot-20021024.tar.bz2, cocot-20020825.tar.bz2 これは何か? 端末(tty)とプロセスの間に割り込んで、文字コード変換を行うツールです。 Cygwinを含むUNIX互換環境において、sshやtelnetなどとともに利用できます。 (Windowsに附属のtelnetでは使えません) 初期バージョンでは
インストール Makefile があるので、 CC CFLAGS PERL が正しいかどうかを確認して、make してください。Linux, Solaris, Mac OS X で動作確認しています。 mkstemp がない場合は、config.h の #define OVERWRITE をコメントア... インストール方法を見る 使い方 nkf - ネットワーク用漢字コード変換フィルタ SYNOPSISnkf B<[-butjnesliohrTVvwWJESZxXFfmMBOcdILg]> B<[>I<file ...>B<]> DESCRIPTIONnkf はネットワークでメールやニュースの読み書き... 使い方を見る
テキストの改行コード
目次 改行コード変換ソフトウエア WindowsやMacintoshで稼動するperlを使って上のように変換するか，以下のフリーウエアを使う． Windows用 ページブラウザ（笹川泰宏氏） Macintosh用 ASL KConvert（山田浩太氏） また，エディタ（Windows版のWZエディタやMuleなど）によってはUNX，Windows95，Macintoshの改行コードを自動判別してくれるものがある． パソコンで使うツールについては， 窓の杜などインターネット経由で入手するか，インターネットマガジンなどの付録CDROMから入手するとよい． 目次 UNIXでの改行コード変換 マルチプラットホーム環境で作業をするとき，これらのOS間での差異を解消するにはUNIXにファイルを置いて変換するのが便利である（パソコンでもこうした変換ツールが知られている）． ファイルの行末の改行形式の変換
layer8.sh
This domain may be for sale!
cmd.exeとchcp.comだけで、文字コード(Unicode、UTF-8、UTF-7、JIS、EUC-JP、SJIS)を変換する！ - Windows Script Programming
cmd.exeとchcp.comだけで、文字コード(Unicode、UTF-8、UTF-7、JIS、EUC-JP、SJIS)を変換する！ Unicode、UTF-8、UTF-7、JIS、EUC-JP、SJISなどの文字コードがcmd.exeとchcp.comだけで変換できます。 Unicode → 各種文字コード UTF-7.cmd Unicodeファイル UTF-7ファイル start /min /wait cmd /c chcp.com 65000 ^& cmd /c type %1 ^>%2 UTF-8.cmd Unicodeファイル UTF-8ファイル start /min /wait cmd /c chcp.com 65001 ^& cmd /c type %1 ^>%2 JIS.cmd Unicodeファイル JISファイル start /min /wait cmd /c ch
Unicodeのテキストファイルをほかの文字コードに変換するには、lvコマンドを使うといい。lvコマンドは多国語に対応したテキストファイルビューアで、lessの代わりに使われることが多いが、文字コードの変換にも使用できる。 例えば、UTF-8でエンコードされたUnicodeテキスト（file.txt.utf8）をEUC（file.txt.euc）に変換するには、以下のコマンドを実行する。
最終更新 2017-07-04 UNIX/Linux における iconv コマンドは、ファイルの文字コード (エンコーディング) を変換するコマンドである。
layer8.sh
This domain may be for sale!
分析業務等でデータを集約する際、OS環境間等を移動させるファイルの「文字コード」や「改行コード」がクローズアップされる事は往々にしてある事と思います。「移行先の環境に於ける文字コードが◯◯◯◯だが、移行元のDB環境の文字コードは△△△なのでどこかで変換を掛けておく必要がある」等ですね。この場合DB側でデータをエクスポートさせる際に変換を掛けてしまえるのであればコトは簡単ですが、必ずしもそういう訳にも行かないと思います。また、DB由来のものでは無い場合(ログファイル等)そもそも変換を掛けるタイミングが無い状態で取り込まなければならないという事もあるでしょう。 当エントリではそんな時に使えそうな「文字コードや改行コードを確認・変換を掛けるツール」について、コマンドラインツールでどんなものがあるのかざっくり調べてみた内容をご紹介したいと思います。 ※見出し横にある[]括弧での記載は「[文]：文字
► 2023 (1) ► 12月 2023 (1) ► 2022 (4) ► 2月 2022 (1) ► 1月 2022 (3) ► 2021 (29) ► 12月 2021 (3) ► 9月 2021 (1) ► 7月 2021 (9) ► 6月 2021 (2) ► 5月 2021 (1) ► 4月 2021 (2) ► 3月 2021 (1) ► 2月 2021 (10) ► 2020 (15) ► 12月 2020 (2) ► 10月 2020 (1) ► 9月 2020 (2) ► 5月 2020 (5) ► 4月 2020 (3) ► 1月 2020 (2) ► 2019 (4) ► 12月 2019 (2) ► 10月 2019 (1) ► 9月 2019 (1) ► 2018 (1) ► 3月 2018 (1) ► 2017 (8) ► 12月 2017 (2) ► 11月
※1…「ID3タグを変換」機能で対応 ※2…バージョン2.0.2～7.6.2は同じ仕様らしいです。 ※3…バージョン7.7で仕様が変更されたようです。 ※4…曲ファイルとは別にライブラリデータを転送してるっぽい？つまりiTunesで表示されている内容がそのまま反映されるようです。 ※5…ひょっとしたら、iPodのライブラリデータを読んでいるのかもしれない？（未確認） つまりUnicodeにしておけば、ほとんどの環境で対応できるということですな、そしてUnicodeに対応してないiTunes 1.1を使い続けていた私が愚かだった、とorz... ではShift JISやISO Latin-1でエンコードされたID3タグをMac版iTunesの「ID3タグを変換」で正しくUnicode化するにはどうすればいいか？↓こちらにヒントがありました。 文字化け / iTunes 4.9 for Win
UbuntuTips/FileHandling/ConvertTextfileCharacterEncoding - Ubuntu Japanese Wiki
対象とするUbuntuのバージョン すべて テキストエディタ（gedit）で文字コードを変更して保存する Ubuntu標準のテキストエディタは文字コードを自動的に認識する機能を持つため、シフトJISや日本語EUCなどの文字コードで保存されたテキストファイルでも、特に意識することなく読み込むことができます。もし文字コードの自動認識に失敗し、文字化けしてしまった場合は、ファイル選択ダイアログの最下部にある［エンコーディング］を、［自動検出］からほかのものに切り替えて読み込みます。正しい文字コードを選択すれば、文字化けせずに読み込むことができるはずです。文字コードを変更して保存するには［ファイル］-［別名で保存］を選択し、同じくダイアログの下部にある［エンコーディング］を変更して保存します。 iconvを使う コマンドラインでテキストファイルの文字コードを変換する場合は、iconvコマンドを利用
Linux基本コマンドTips一覧 本連載では、Linuxの基本的なコマンドについて、基本的な書式からオプション、具体的な実行例までを分かりやすく紹介していきます。文字コードや改行コードを変換するための「nkf」コマンドを解説します。
はじめに nkfはテキストファイルの文字コードを変換したり，判別することのできるプログラム。 現在SourceForge.jpで管理されているので，ソースプログラムもそこから取得することができる。 インストール SourceForge.jpからプログラムソースnkf-2.1.0.tar.gzを取得する。 インストール方法は，README.jpにかかれているが，基本的にはそのままコンパイルするだけでよい。 $ cd nkf-2.1.0/ $ make $ sudo make install 文字コードの変換 nkfはもともとフィルターとして作られているためか，文字コードの変換結果は標準出力に出力される。 例えば，sample.txtというテキストファイルをSJISに変換する場合にはリダイレクトで出力ファイルを指定する必要がある。 $ nkf -s sample.txt > sjis.txt
iconv
人間にとっては、文字は文字ですが、コンピュータが認識するのは、結局は0と1です。ですから、コンピュータに文字を表示させる場合、どのような0と1のかたまりが、どのような「文字」を表現するデータなのか、教えてやらなければなりません。その対応のルールが「文字コード」というものです。英語圏で英語だけを使っていれば、この文字コードを意識することはないのですが、ややこしい歴史的経緯から、日本語には幾つもの文字コードが存在しています。例えば「りんご」というひらがなを表現するための、0と1の並べ方のルールが幾つもある、ということです。 厄介なことに、ある特定の文字コードにしか対応していないプログラム、なんてものもありますし、何らかの理由により特定の文字コードしか使えない状況というのも存在します。そんな場合、他の文字コードで書かれたテキストを流用するには、文字コードを変換してやる必要があります。 普通、
ファイル名の文字コード変換 - 春木屋
俺メモ ファイルの中身ではなく、ファイル名そのものの文字コードを変換するには、convmvというコマンドを使う。 正直言って、コマンドの名前さえ分かれば、後はググるなりmanするなり何なりすれば万事オッケーなのだが、とりあえずメモしておく。 コマンド自体は大抵、各システムのパッケージ管理システムから問題なくインストールできるはず。 使い方は-fオプションに元の文字コードを、-tに変換先の文字コードを指定し、ファイル名を続けるだけ。 今回やりたいことの性質上、化けまくってるファイルの名前を一生懸命タイプするよりは、あるディレクトリ配下をアスタリスクで指定するのがまあ普通。 コマンド実行イメージ。 $ convmv -f euc-jp -t utf8 * (略) No changes to your files done. Use --notest to finally rename the
Man page of ICONV
Section: Linux User Manual (1) Updated: 2020-06-09 Index JM Home Page roff page 名前 iconv - テキストをある文字符号化から別の文字符号化に変換する 書式 iconv [options] [-f from-encoding] [-t to-encoding] [inputfile]... 説明 iconv プログラムはある符号化 (encoding) からテキストを読み出し、 別の符号化でそのテキストを出力する。 入力が指定されなかった場合、 もしくは入力ファイルとしてダッシュ (-) が指定された場合、 iconv は標準入力から入力を行う。 出力が指定されなかった場合、 iconv は標準出力に出力する。 from-encoding が指定されなかった場合、 デフォルトは現在のロケールの文字符号化から
メールの件名をシェルスクリプトだけで処理する必要に迫られたのだけれども、中に BASE64 でエンコードされているものがあって往生した。 $ cat mail (snip) Subject: =?ISO-2022-JP?B?GyRCRnxLXDhsJEckIiRrGyhC?= PHP や Perl を以ってすればデコードも容易いがシェルスクリプトのみを用いるという限定をつけられているのでまったく難航した。思い通りに進捗しないので元染め職人の人へ尋ねると nkf でエンコードができます。死ね。とのあたたかい助言が放たれた。nkf のオンラインマニュアルを見ると -m[BQSN0] MIME を解読する。(デフォルト) ISO-2022-JP (B encode) と ISO-8859-1 (Q encode) のみを解読す る。 ISO-8859-1 (Latin-1) を解読する時は、
こんにちは。きんくまです。 Terminalで文字コード変換のシェルスクリプトです。 同じフォルダにencodedというサブフォルダを作って、 そこに、変換後のファイルが保存されます。 今回は、SJIS から UTF-8に変換します。 sjisToUtf8 #!/bin/sh mkdir encoded for fname in "$@" do iconv -f SJIS -t UTF-8 "$fname" > "encoded/$fname" done iconvが文字コード変換のコマンドです。 -f は from（変換前） -t は to （変換後）のオプションです。 man iconvと打つとマニュアルが出てくるので、調べてみると良いかもしれません。 さて、実行に向けての準備です。 例えば、今回はさきほどのテキストをsjisToUtf8という名前で保存しました。 どこに置いてもいいの
小さなバイナリを受け渡ししたいけれどファイル共有サービスとか使うのも面倒だしbase64 にしてgist に貼ってしまおうと思ったのですが，nkf コマンドでbase64 にエンコードして，確認のためデコードしてみたら違う結果に． % cat original | nkf -MB > hoge % cat hoge | nkf -mB > fuga % diff original fuga バイナリーファイル original とfuga は異なります % ls -l -rw-r--r-- 1 mk mk 4080 5月 29 20:38 original -rw-r--r-- 1 mk mk 5422 5月 29 20:52 hoge -rw-r--r-- 1 mk mk 3999 5月 29 20:52 fuga Google+ にこのことを書いたら https://plus.goog
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
エンコードマニアックス - 各種エンコードやハッシュを一発作成
MySQL 文字化け問題を本気で直す
ＰＨＰの文字化けを本気で解決する - ぎじゅっやさん
文字コードに起因する脆弱性を防ぐ「やや安全な」php.ini設定
UTF-8にもいろいろある - ザリガニが見ていた...。
シフトJIS / EUC-JPとUnicodeとの妥当な変換表: Netsphere Laboratories
ＰＨＰの文字化けを本気で解決する - ぎじゅっやさん
日本語URL変換ツール ～ ピュニコード(Punycode)・UTF-8などのエンコードに
GNU grep 2.18リリース: 10倍速くなったと思ったら今度は200倍遅くなっていた | はむかず！
文字コード変換コマンドの nkfの使い方と実例をまとめました。 - それマグで！
cocot - COde COnverter on Tty
nkf Network Kanji Filter プロジェクト日本語トップページ - OSDN
＠IT：Unicodeのテキストファイルをほかの文字コードに変換するには
コマンド:iconv: UNIX/Linuxの部屋
ファイルの文字コード＆改行コードを確認・変換するためのツールまとめ | DevelopersIO
ファイルの文字コードを一括変換 (find, nkf, xargs)
iTunesのID3文字コードわけわかめ - まいう〜の鮹語録
【 nkf 】コマンド――文字コードと改行コードを変換する
【Proton.jp】 文字コード変換プログラムnkfの使い方
guro_chanの日記 » nkf コマンドで base64 エンコードされた文字列をデコードする
[terminal | ターミナル] 文字コード変換のシェルスクリプト « きんくまデザイン
nkf でbase64 エンコード，デコードしたら結果が違う? – matoken's meme