PHP 8.1へのアップグレードにまつわるまとめ PHP 8.1へのアップグレードには、mbstringにまつわるマニュアルに記述されない後方互換性のない変更が含まれることがあります。そのことを周知するべく、この記事を書くことにしました。 私てきめんは、PHPカンファレンス 2022にて、「治っていくmbstring 令和時代の文字化け」というタイトルでトークしています。以下スライドも参考にしてください。 Major overhaul of mbstringについて PHP 8.1から、Major overhaul of mbstringと呼ばれる、mbstringの大規模改修の内容が反映されるようになりました。困ったことに、RFC(Request For Comments)やChangelog、マニュアルにない内容で、mbstringを多用するPHPユーザーにとてつもない困惑をもたらすこ
Re: Goでcsvを操作するための基本的な知識
はじめに Println で標準出力してみると以下のように表示されるかと思います。（SHIFT-JIS形式なのでmacでみると文字化けしていますがひとまず置いておきます） 日本では一般的に CSV ファイルは Shift_JIS でエンコードされている事が多いです。Go 言語は内部のエンコーディングが UTF-8 なので、Shift_JIS な CSV ファイルを読み込むと文字化けします。 そこで便利なのが エンコーディングの変換は golang.org/x/text/transform が便利です。このパッケージと、golang.org/x/text/encoding/japanese を使う事で、os.Open で開いたファイルがさも初めから UTF-8 であるかの様に扱う事ができます。 どんな風に扱うか japanese パッケージには japanese.ShiftJIS や jap
Transcript Lucene Kuromoji のコードを読む会 （辞書ビルダー編） 2019/10/3 @moco_beta 自己紹介 打田智子 twitter : @moco_beta 所属 : 株式会社 LegalForce R&D チーム / ソフトウェアエンジニア 検索システムに興味があります 趣味でOSS開発をしています Janome https://github.com/mocobeta/janome Apache Lucene committer () 趣旨など 主催者 (@moco_beta) が Lucene / Kuromoji のソースコード（辞書周り）を読むうえで，調 べたことをまとめておきたい 素のままで触る機会は少ないかもしれないけれ ど， Lucene のコードを読んでみるのも楽しい よ！というのを伝えたい 仕事ではブラック
平衡点(2020-12-18)
I use cookies to analyze how visitors use my website via Google Analytics: Accept Reject Dismiss _ emacs -nw でこの先生きのこるには。 🍄 (2020/12/20 ひっそりと修正。 mintty, wsltty はファイルに設定を書くのであった)。 はじめに. この文書はEmacs Advent Calendar 2020の12/18(金)分の記事です。 昨日はfiboさんのemacs -nw のコピペ事情でした。 手元では gpaste + xclip で生活してますが、 …ネットワークごしのコピペは面倒そうですね。 さて。 最近Emacs絡みで頑張った事と言えば, ターミナルでもall-the-icons.elしたくて, isfit-plusを作ったぐらいだったので, 特に記事
2021年初頭に SKK を Windows/Mac で Google 日本語入力からの候補取得といっしょに絵文字まで変換して使うための方法 - あじーん-0.0.2-SNAPSHOT
前提・したいこと いろいろしたいこと盛り沢山。 動作させる環境としては Windows10 の WSL2 で動作させたい WSL2 と VcXsrv で動かしている Emacs の ddskk からも (できるだけ) 利用したい でも Mac でもできるだけ同じように環境を用意したい そして動作自体には 辞書に無い未知語は候補を Google 日本語入力 (Google Japanese Input) の API から取得したい 辞書に有る語の場合は辞書から候補を取得して可能な限り高速に変換したい 絵文字も入力したい とぜいたくな感じ。2021 年、令和三年ですからね。 作業内容・手順 SKK のインストール Windows10 では動作も軽快で安定感抜群な CorvusSKK を利用させていただいてます。 github.com リリースから最新のインストーラーをダウンロードしてきてインス
LinuxでシフトJISが使えた - tmtms のメモ
ふと、最近の Linux って EUC-JP ロケール使えるんだっけ？ と思ったんで調べてみた。環境は Ubuntu 22.04。 EUC-JP ロケール locales パッケージが入ってない場合はロケールはこれだけ: % locale -a C C.utf8 POSIX locales と language-pack-ja をインストール: # apt install locales language-pack-ja locale-gen コマンドを実行すると ja_JP.utf8 が増える: # locale-gen Generating locales (this might take a while)... ja_JP.UTF-8... done Generation complete. # locale -a C C.utf8 POSIX ja_JP.utf8 /etc/loc
凡例 メソッド名（兼ドキュメントへのリンク） 【Ruby】例 【Python】対応する例（シンタックスや結果の違いがわかるようなもの） 対応ドキュメントのURL ここでは変数 r = "ルビー" p = "パイソン" としています。 -∗- encoding: UTF-8 -∗- です。 INDEX % 【Ruby】"%s vs %s"%[r, p] # => "ルビー vs パイソン"（※ 引数は配列） 【Python】"%s vs %s"%(r, p) # => "ルビー vs パイソン"（※ 引数はタプル） https://docs.python.org/ja/3/library/stdtypes.html#printf-style-string-formatting << 【Ruby】r << p # r => "ルビーパイソン" 【Python】p += r # p => "パイ
LispText.pdf
Lisp Common Lisp / Scheme 0.1 Copyright c � 2020, Katsunori Nakamura 2020 2 29 1 1 1.1 Common Lisp . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1.2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1.3 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 1.3.1 Lisp . . . . . .
MySQL 8.3.0 で --character-set-client-handshake が削除された件について ～ go-sql-driver/mysqlとmysqlndを添えて ～ | GREE Engineering
こんにちわ。せじまです。 相変わらずPHPよくわかんないんですが、今日もPHPの話をします。あと、goの話もちょっとだけします。書いてるうちに少し長文になってしまいましたが、内容としてはゆるふわと言えるんじゃないでしょうか。 でははじめます。 はじめに MySQL 8.2.0 の release notes で The --character-set-client-handshake server option, originally intended for use with upgrades from very old versions of MySQL, is now deprecated, and a warning is issued whenever it is used. You should expect this option to be removed in a fut
PHP 8.x での php.ini の設定について
mbstring.language = Japanese mbstring.internal_encoding = UTF-8 mbstring.http_input = pass mbstring.http_output = pass mbstring.encoding_translation = Off mbstring.detect_order = ASCII,ISO-2022-JP,UTF-8,eucJP-win,SJIS-win mbstring.substitute_character = none mbstring.func_overload = 0 8.x の設定 概ねこれまで通りで良さそうなんですが、幾つか気になるものがあります。 php.ini のコメントを見ると以下の三つは deprecated になっていますね(たぶんずっと前から)。 mbstring.intern
概要 カーソル移動系 モード変更と入力 文字化け系 Shift-JIS の場合 EUC-JP の場合 検索系 普通の検索 grep (vimgrep) タブ幅とか 自動インデント系 ディレクトリ移動とか別のファイルを開いたり系 最後に 参考情報 概要 この記事は、vimに全然慣れていない人向けの内容です。以下に当てはまる方でしたら、良ければご参照ください。 特に vi (vim) とかに興味はない。使い方を極めたいわけではない。 現場のOSがLinuxで、使えるエディタがvimくらい。 基本的にLinuxみたいなコマンドラインでバリバリ作業する環境に慣れていない。普段はWindows。 そのマシンはお客様の所有物であるのでツールとかを勝手に入れてはダメ vimはあるけどデフォルト状態。ネットにあるような便利なプラグインも入っていないし、設定ファイルをいじるのもダメ。 上記のような環境って、
こんにちは、めのんです！ 昨日の「文字の正体は整数値」の中で少し触れた、GCCでコンパイルオプションを使ってソース文字集合と実行文字集合を指定する方法について今回はご紹介することにします。 実際には文字集合というよりは文字のエンコーディングを指定する方法なんですけどね。 具体的なコンパイルオプションをご紹介する前に、GCCのデフォルトのエンコーディングについてお話ししておく必要がありますね。 コンパイルオプションで何もしていしなければ、ソースファイルのエンコーディングも実行プログラムが使用するエンコーディングもUTF-8になります。 ソースファイルの先頭にBOM（バイトオーダーマーク）があってもなくてもかまいませんが、いろいろな処理系との互換性を考えると付けておいた方がいいかもしれません。 次にエンコーディングを明示的に指定するためのコンパイルオプションをご紹介します。 ソースコードのエン
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
非公式 PHP 8.1のmbstringアップグレードガイド - てきとうなさいと。べぇたばん
Lucene #Kuromoji のコードを読む会 （辞書ビルダー編） - Speaker Deck
Ruby → Python チートシート（文字列Stringクラス編） - Qiita
現場でvim慣れていない人が知っておくと便利なTips - いろいろ備忘録日記
GCCでのエンコーディング指定方法 | menonfled