異体字同一視検索 | karak

オンライン辞書の北辞郎には、利用者が検索した際、データベースにその語句が含まれていないと候補の単語を提示する機能を設けてある。 今回システムの更新を行い、異体字を同一視して候補を表示する機能を追加した。備忘録をかねて内部でどういう処理を行っているかまとめておく。 まず、異体字を同一視して検索する、という処理がどういうものか定義しておくと、「発展」と入力すると「発」の異体字である「發」や「发」を展開し、「發展」、「发展」に対する検索も同時に行うことを指す。正規表現で表すと「(発|發|发)展」を検索することになる。これを実現するには「発展」を与えると「(発|發|发)展」を返す関数がまず必要である。さまざまな方法があるが、今回はシンプルに単漢字をキーとし、対応する異体字のリストを値とする連想配列を用意した。以下にその一部を示す。なお、北辞郎はPHPで構築しているので以下のコードはすべてPHPであ

[Ctrans]

異体字同一視検索 | Karak