Mozcの辞書圧縮の論文を読んだ - nokunoの日記Mozcの辞書圧縮の論文を読みました．IMEはクライアントPCで動くし常駐するので消費メモリを小さくしようという話です．Efficient dictionary and language model compression for input method editors内容的にはNLP2011で聞いた話＋接続コストのキャッシュの実験を追加したものになっています．最終的なサイズと内訳は以下のようになっていることがわかります． 辞書：13.3MB Token: 7.9 Reading: 2.4 Word: 3.0 接続コスト：2.9MBTokenも圧縮されているので一概には言えませんが，典型的には品詞が左右合わせて32ビット，コストが16ビット，表記IDが32ビットで合計80ビット（10バイト）を使っています．品詞の情報は意外とメモリを食っているなあという印象を受けました．ツイートする
Loading...
