はてなブックマーク

かな漢字変換は、日本語入力の最も重要な機能です。日本語自然言語処理で最も広く実用されているプロダクトの1つでありながら、その進化は翻訳AIや対話AIの進化と比べて鈍足です。 そこで、ChatGPTとGPT-4にかな漢字変換をやらせてみてみました。 性能の評価のため、比較的長い一文を用意しました。 ようしょうきからてにすすいえいやきゅうしょうりんじけんぽうなどさまざまなすぽーつをけいけんしながらそだちしょうがっこうじだいはろさんぜるすきんこうにたいざいしておりごるふやてにすをならっていた 幼少期からテニス水泳野球少林寺拳法など様々なスポーツを経験しながら育ち小学校時代はロサンゼルス近郊に滞在しておりゴルフやテニスを習っていた 多くの日本語入力では、1、2箇所の間違いに収まる文章です。これのかな漢字変換をお願いして、どれくらいしっかりやってくれるか調べてみます。 ChatGPT まずはChat

2年半近く趣味として個人開発してきたiOS・iPadOS向けの日本語キーボードアプリ「azooKey」をオープンソース化しました。ライセンスはMIT Licenseです。 azooKeyは2年前からApp Storeで無料で公開し、開発を続けてきました。日本語対応のiOS向けキーボードアプリには、Simeji、Flickなど多くの先輩がいますが、標準キーボード志向で高機能なOSSとしては初めてのものではないかと思います。 技術的な特徴 azooKeyの技術的特徴としては、変換エンジンの独自実装、ライブ変換のサポート、独自に調整した辞書、強力なカスタマイズ機能などがあります。 IME開発の特色は幅広い技術的課題を扱えることにあります。競プロ的なアルゴリズムとデータ構造の問題もあればNLP的な話やGUIのデザインの問題もあり、めっちゃ楽しいです。 なお、azooKeyは全てSwiftで実装され

NEologdは新語や固有名詞に強い形態素解析用辞書として有名ですが、2020年の9月を最後に更新がありません。実用上の問題は大きく分けて2つあります。 新語・固有名詞が供給されない 不具合が修正されない 1つ目も重要なのですが、今回フォーカスするのは2つ目の点です。 私は個人開発でazooKeyという日本語入力アプリケーションを開発しています。かな漢字変換用辞書の生成の目的でNEologdを使っているのですが、この用途では品詞と読みの正確性がクリティカルになってきます。しかしNEologdの辞書では「ヤバい」が固有名詞になっていたり、「光GENJI」に「イチ」と読みがついていたりします。これは回り回ってかな漢字変換の性能に影響を与えるので、可能な限り修正したい不具合です。 しかし、更新がない以上、自前でどうにかするしかありません。 不具合への対処 当初この手の問題は実行時に動的に適用する

形態素解析機を使っていると色んな場面で「あれ、解析うまくいってないな……？😓」という場面に出会います。 単に辞書に無いだけの単語というのはいくらでもありますが、中にはさらに根本的な理由で解析ができない単語というのも存在しています。 MeCabなどで多く用いられているIPADICにはIPA品詞体系という体系が用いられています。この品詞体系は非常に包括的で面白いのですが、よく見ると所々欠けている品詞があったりします。そうした欠落のために、一部の言葉が品詞体系上原理的に「解析・分類できない日本語」となっているのです。 この記事では「そこそこ一般的に用いられるにもかかわらず」「品詞体系上分類することが困難である」ような日本語[1]の例を挙げ、なぜ解析できないのかを解説してみます。 品詞体系全体の解説もあります。ぜひご覧ください。 本記事ではIPADICのバージョンは2.7とします。 1.「いらっ