Budou - 機械学習を用いた日本語改行問題へのソリューション - ウェブ雑記

こんにちは！ 日本語のウェブサイトを作っていると、日本語特有の問題にぶちあたることがありますよね。 その中でも今回着目したいのは、日本語改行問題。最近、この問題を解決するためのライブラリを公開したので、紹介します。 github.com そもそも日本語改行問題とは何か ウェブブラウザで日本語で書かれたウェブサイトを見ていると、ときどき文章が変なところで改行されているのを目にすることがありますよね。 たとえば、こんなかんじ。 「ソリューション」が「ソリューショ」と「ン」に分かれてしまっています。読みにくいですね。 英語では単語がスペースによって区切られますが、日本語や中国語などのアジア圏の言語では単語がスペースで区切られないことが多いです。 そのため、英語では単語の途中で改行されることは通常ありませんが、日本語では単語の途中で改行されることがよくあります。 本文ならともかく、見出しやキャッチ

[YarmUI]

あなたとJava今すぐダウンロー

[nagao198X]

ド

[petitbang]

Baiduに見えてドキッとした。

[trkbt10]

人工知能を使わなくても簡単な形態素解析でできる気がしたので書いた。 https://github.com/trkbt10/mikan.js

[astrocyte]

Googleの中の人が、API使って欲しさに改行問題のソリューションとか言って大げさなライブラリーを作ったというのがなんだか悲しい。「膨大な言語資源から折り返しの規則性を発見し10KBのjsにまとめました！」とか希望。

[yto]

ヤフーの日本語係り受け解析APIを使えば文節とれるよ。8年前の記事だけどご参考に。無料です。 http://chalow.net/2008-08-21-1.html

[instores]

体言止め多用してラップ調にするAPIともできそう。「常に最新、最高のモバイル。Androidを開発、同じチームからYeah〜」

[mrkn]

TinySegmenter 使えばAPIもmecabも不要そうな感じする。

[hanenone]

むやみにspanで区切ると視覚障害者向け読み上げブラウザで影響出たりしないかな？大丈夫？？むしろそれを考慮した指定なのかな？？

[youichirou]

とりあえず、「とにかく文字を大きくしようとして左右の余白ナシのカツカツになる大きさにした結果、違う環境でブロックのサイズや文字の幅が変わって1文字余る」ってなってるだけのパターンを減らすべき。

[massiromohe]

文章の単語をの途中で改行させないようにする

[saharamakoto]

ユーザー環境の構築なのか... 端末のデフォルトにして欲しいわ。

[hitoriblog]

改行位置を自動決定。OGP画像自動作成にいいかも。

[ainame]

かっこいい

[chitoku_k]

素晴らしい。あなたとJAVA,今すぐダウンロー ド。

[tuhan321]

機械学習を用いた日本語改行問題へのソリューションについて。

[silverscythe]

ブコメ参

[Tomato-360]

これいいなぁ。

[georgew]

Google提供の Boudo package (Python)。日本語文章突っ込んだらHTML吐き出してくれる。

[shunutsu2-2-24]

ブコメ読んだ感じ、他にも代替案ありそうだな。

[koemu]

中途半端な改行をさせないよう、分かち書きした結果を使って改行ポイントを適切に判断してくれる。

[pmint]

必要なところは中央寄せの見出し部分くらいなので、white-space:nowrapの中で<wbr>を書いて解決するけど。IEだったらzoomを使って、MS Excelのように文字サイズを変えて改行不要にできるけど、理想はそっちか。

[natu3kan]

一瞬だけブードゥーにみえた。

[quality1]

これはこれで長い固有名詞の時に改行早すぎてガタガタになる問題が発生しそう

[ebo-c]

id:YarmUI のトスと id:nagao198X のスパイクが絶妙すぎてほかが頭に入って来づらい

[kaos2009]

中国語にも改行問題とかあるんだろうか

[mangakoji]

ちゃんと前づめしてくれたら、それでいいよ。等角フォントならね。日本語はそういうふうにできてるのに、プロポーションなんか導入するから…

[ya--mada]

わかちするために百度か.... / wbrをmarkdownのpre内に埋め込められれば、なんか良さそうだな。

[tigger501st]

つよそう

[htsign]

wbrタグについての言及がない。

[psne]

wbr タグの使い道が(経験上)あんまりないですね。と、ちょっと不憫に思ったやつ

[kosugip]

Java への言及で埋め尽くされているかと思ったがそこまでではなかった

[nazoking]

機械学習関係なさそう…

[gabuchan]

パワフルだ

[lets_skeptic]

VisualStudio2010から帳票で変な折り返しをするようになって大問題になった。変な折り返しの方って文字種の区切り部分は同じ行になるようにしてるよね。誰得なアルゴリズム。俺は独自にJISに合わせた禁則処理実装した

[bluecrowp]

一方はてブ民は正規表現を使った

[umai_bow]

いいけどこれmecabでいいな

[suekunhello]

好みとしてはMeCab使用してCMSからの出力時に指定箇所だけ囲むのがいいかな。でも、気軽に使えることは凄くいいと思います！

[tettekete37564]

分かち書きできれば対応できるくね？/と思ったらすでに作られててびびった。/しかもたった二つの正規表現ベースでびびった。こんな風に作れる物なんだ。