形態素解析もどきを改良してみた
形態素解析もどきを改良してみた 「JavaScript で形態素解析もどき」を少し改良してみました。今までは漢字、ひらがな、カタカナ、英数字、記号などで分けていただけなので、 「今日はいい天気でした。」 という文章を解析すると 「今日｜はいい｜天気｜でした｜。」 となって、「はいい」などと変な区切りができたりしていました。 そこで、助詞で区切ってから、その後で漢字、ひらがな、などで分けるようしてみました。そうすると 「今日｜は｜いい｜天気｜で｜した｜。」 という感じで分けることができます。 ただ、 「とても大きい」 という文章だと 「と｜て｜も｜大｜きい」 となってしまったりで、問題もありますが。 JavaScript のソースはこんな感じです。 function SimpleAnalyzer() { this.re = new RegExp; this.re.compile("[一-龠々
TinySegmenter: Javascriptだけで実装されたコンパクトな分かち書きソフトウェア
TinySegmenterはJavascriptだけ書かれた極めてコンパクトな日本語分かち書きソフトウェアです。 わずか25kバイトのソースコードで、日本語の新聞記事であれば文字単位で95%程度の精度で分かち書きが行えます。 Yahoo!の形態素解析のように サーバーサイドで解析するのではなく、全てクライアントサイドで解析を行うため、セキュリティの 観点から見ても安全です。分かち書きの単位はMeCab + ipadicと互換性があります。 デモ 日本語の文章を入力し、解析ボタンをクリックしてください。 ダウンロード TinySegmenterはフリーソフトウェアです. 修正BSDライセンスに従って本ソフトウェアを使用,再配布することができます. Download TinySegmenter version 0.2 使い方 <script type="text/javascript" src
エブログ マルコフ連鎖で文章生成（JavaScript）
マルコフ連鎖で文章生成（JavaScript） マルコフ連鎖による文章生成。マルコフ連鎖と言っていいのかあまり自信はないのだが、とりあえず文章を作ってはいる感じ。 テキストエリアに入力された文章を解析して、その中の単語を使って、自動生成します。文章生成ボタンを何度か押すと文章が変わっていくと思います。 意味不明であったり、そのままの文、同じ文が続けて出たりはしてしまいますが。 メロスは激怒した。必ず、かの邪智暴虐（じゃちぼうぎゃく）の王を除かなければならぬと決意した。メロスには政治がわからぬ。メロスは、村の牧人である。笛を吹き、羊と遊んで暮して来た。けれども邪悪に対しては、人一倍に敏感であった。きょう未明メロスは村を出発し、野を越え山越え、十里はなれた此（こ）のシラクスの市にやって来た。 ここに文章が作成されます。 posted by knit at 19:45 | Comment(9)
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
