専門用語を自動抽出するTermExtractをDockerで簡単に使えるようにしました - CreateField Blog
はじめに 品詞のつながりや出現頻度、学習情報から複合語らしきキーワードを自動で抽出するPerlモジュールTermExtractが公開されています。 これを利用すれば、形態素解析済みのテキストを食わせるだけでそこそこそれらしい専門用語をたくさん得ることができます。 このTermExtractは、ソースからインストールする必要があったり、EUC環境であったり形態素解析後のデータを入力に必要としたりなかなかめんどくさいです。 そこで、MeCabとTermExtractが自動で環境構築されるDockerファイルを作りました。 https://github.com/naoa/docker-termextract このDockerファイルでは、正規表現フィルタや形態素解析、コスト推定などを自動でやってくれるPerlスクリプトも自動で導入されるようになっています。 これでDockerを実行できる環境があ
正規表現で青空文庫のルビを削除 - 空想Whisper
青空文庫を携帯で読もうとしてXHTMLファイルを開き文章をコピペすると、 ある日の暮方の事である。一人の下人（げにん）が、羅生門（らしょうもん）の下で雨やみを待っていた。 という具合にルビが丸括弧に括られて表示される。 また、当然ながら、ルビありのテキストファイルをダウンロードしても、 ある日の暮方の事である。一人の下人《げにん》が、羅生門《らしょうもん》の下で雨やみを待っていた。 と、二重山括弧で括られたルビが表示される。 ……邪魔だ。 ルビなしテキストファイルがあれば良いけど、ルビありしかない場合が殆どなので、そんな時には自分で取り除く必要がある。 ソフトを使ってもいいけど、使いたくない場合、正規表現使用可能なエディタ*1があれば、空文字列と置換することで手軽に削除できる。 丸括弧で括られた範囲を選択したい場合は、 （[^）]+） 二重山括弧なら、 《[^》]+》 となる。赤文字が任意
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
