ただいま検索エンジンの開発中でして、検索エンジンの開発にはクローラーがダウンロードしたデータ(文章)を形態素解析する必要があります。(その後データベースなどにぶちこむ) 形態素解析といえば、ChaSenやMeCabなどのオープンソースが有名ですが、いかんせんインストール作業が面倒。なので今回はYAHOO!日本語形態素解析Web APIを使ってみました。 ちょっと使ってみた感じ、APIとは思えないほどサクサク動きました。しかし、検索エンジンのデータベース作成に使えるかどうか考えると色々と問題点が・・・ 一つのアプリケーションIDにつき一日5万リクエストという制限 一リクエストの最大サイズが100KB 特殊な文字が入っているとHTTPエラーが起こる と、API特有の制限がでてきました。 検索エンジンのデータベース作成のために使うとなるとかなり大量のデータの解析を行わなければならないので、リクエ