こんにちは。メディア研究開発センターの山野です。私は普段は音声処理や自然言語処理やそれらの技術を使ったプロダクト開発などに従事しています。 さて今回は朝日新聞記事データを使ったニューラル仮名漢字変換について簡易な実験をしたのでその結果を共有します。 はじめに多くの問題を解くことができるLLMですが、ひらがな列Xをかな漢字混じり文Yへ変換する仮名漢字変換については、単語の読み方とその表記の関連性を学習する必要があり、現時点(2024年7月8日)ではLLMでもうまく解くことができません。 実はほとんど全てのオープンな日本語LLMはかな漢字変換が全く出来ません。 出典: https://zenn.dev/azookey/articles/ea15bacf81521e(ちなみに私はiPhoneのキーボードをazooKeyに変更してしばらく経ちますがとても使い勝手/心地が良いのでオススメです。) そ
![LLMを使ったかな漢字変換|朝日新聞社 メディア研究開発センター](https://cdn-ak-scissors.b.st-hatena.com/image/square/0bde8be4e68a99f95c39d00557dfdc97f4c70140/height=288;version=1;width=512/https%3A%2F%2Fassets.st-note.com%2Fproduction%2Fuploads%2Fimages%2F146950884%2Frectangle_large_type_2_55cebf001a69a47f2e136cdaf1bea18b.png%3Ffit%3Dbounds%26quality%3D85%26width%3D1280)