kuromojin@3のアップデートと同時に、textlintルールをまとめてアップデートしました
kuromojinは、形態素解析ライブラリのkuromoji.jsをラップしたライブラリです。 kuromojin v2までは、kuromoji.js 0.1.1に固定していました。 kuromoji.jsの最新バージョンは0.1.2であるため、v3.0.0でこれを取り込んだものをリリースしています。 📝 patchバージョンですが0.xなのでBREAKING CHANGEが含まれていて、具体的には次のIssueの内容によって形態素解析結果のトークンが変わリます。 また、kuromojin側でkuromoji.jsのバージョンを固定しているのは、バージョンがずれると複数の辞書ファイルをロードしてしまうことがあるのと、 辞書の差分はBREAKING CHANGEになってしまうので固定しています。(辞書とsemverは相性が悪いです) 研究 is broken down into 研 and
Elasticsearchのための新しい形態素解析器 「Sudachi」 - Qiita
tl;dr （要約） Kuromojiに代わる新しい形態素解析器「Sudachi」 なにが良いの？ 最新の辞書 企業（ワークスアプリケーションズ）による継続的な更新 複数の分割単位 → 検索用途での再現率と適合率の向上 プラグインによる拡張 省メモリ Elasticsearchで使いたい プラグイン: WorksApplications/elasticsearch-sudachi 使い方は当記事の後半をご覧ください 注: この記事の執筆者はSudachiの開発に関わっています さまざまな形態素解析器 形態素解析は、伝統的な自然言語処理（Natural Language Processing, NLP）において基盤となる技術です。そして世の中にはさまざまな形態素解析器が存在します。販売されているものもありますが、一般に公開されているものだけでもいくつか例をあげると、JUMANとRNNLMを利
Budou - 機械学習を用いた日本語改行問題へのソリューション - ウェブ雑記
こんにちは！ 日本語のウェブサイトを作っていると、日本語特有の問題にぶちあたることがありますよね。 その中でも今回着目したいのは、日本語改行問題。最近、この問題を解決するためのライブラリを公開したので、紹介します。 github.com そもそも日本語改行問題とは何か ウェブブラウザで日本語で書かれたウェブサイトを見ていると、ときどき文章が変なところで改行されているのを目にすることがありますよね。 たとえば、こんなかんじ。 「ソリューション」が「ソリューショ」と「ン」に分かれてしまっています。読みにくいですね。 英語では単語がスペースによって区切られますが、日本語や中国語などのアジア圏の言語では単語がスペースで区切られないことが多いです。 そのため、英語では単語の途中で改行されることは通常ありませんが、日本語では単語の途中で改行されることがよくあります。 本文ならともかく、見出しやキャッチ
Wikipediaの中から偶然57577になっている文章をつぶやく「偶然短歌bot」が話題に
Twitter上で、Wikipedia日本語版の文字列の中から、偶然57577の韻を踏んでいる文章を見つけ、ツイートしていく「偶然短歌bot」（@g57577）が話題になっています。 短歌を作っているわけではありません。Wikipediaで偶然57577になっているものです どのように作っているかは、作者が詳しく解説しています。解析ツールを使って音数を抽出、さらに短歌になっていないものを弾くように調整。最終的に残ったものの中から、本物の短歌を手動で弾く、という非常に手の込んだbotになっています。 この発想と面白さに多くの反響を呼んでいます。 もう一つのこだわりポイントは5・7・5・7・7時間おきにツイートしている、ということ。凝ってるなー。 （たまごまご） advertisement 関連記事 村上春樹やモーツァルトの創作時間は？ 有名な文化人の1日の過ごし方をグラフ化したサイト「The
guessLanguage.js by richtr
A natural language detection library based on trigram statistical analysis for Node.js and the Web. Download .zip Download .tar.gz View on GitHub Try it out Usage You can clone this repo as follows: git clone git@github.com:richtr/guessLanguage.js.git You can use this library in a web page by including the following files: <script src="lib/_languageData.js"></script> <script src="lib/guessLanguage
カフカ『変身』はラノベよりもずっと読みやすい←日本語難易度推定をやってみた
語彙学習を最適化するために、自分のレベルにあった文章を探すにはどうすればいいのだろう？ 自分の語彙数は、 「語彙数推定テスト」（ ＮＴＴコミュニケーション科学基礎研究所） http://www.kecl.ntt.co.jp/icl/lirg/resources/goitokusei/goi-test.html 語彙推定テスト で分かった。 それから語彙を増やすには読書が一番ということ、それも分からない言葉だらけのものより、出てくるほとんどの言葉は分かるが、その中に少しだけ知らない単語が入っているようなものを読むのがもっとも学習効率がよいらしいことも できる子はできない子の4.6倍のボキャブラリーがあるー日本語の語彙の測る／増やす方法 読書猿Classic: between / beyond readers で触れた。 あとは自分のレベルに合ったものを読むだけなのだが、今日はそれに役立つウェ
JavascriptでIME
この前いじったChrome17対応版AjaxIMEは 実際の変換を行うのに本家AjaxIMEが提供している変換サーバをそのまま使用しています。 そのため、すべての入力内容は本家サーバに送信されてしまいます。 どんな入力をしたのか作者さんにバレバレです。 この送信内容、暗号化すらされていないので、作者以外の人に見られる可能性もあります。 自分の書いた文章が勝手にインターネットに送信されているっていうのはあんまり嬉しくないですね。 ローカルのみで完結するのが理想です。 本家サーバはどうやらmecab-skkservと同じエンジンを使っているようです。 このバックエンドで動いているのは実はMeCab。 ということは、MeCabと互換性のあるigo-javascriptでも同じことができるはず・・・！ これはならブラウザ上ですべてが完結する！ はい、そういうことで作ってみました。 IgoIME 使
WebDB Forum 2011 で「 CRF を使った Web 本文抽出」を発表してきました - 木曜不足
昨年に引き続き、今年も WebDB Forum 2011 のサイボウズの企業セッションでの発表の機会をいただきましたので、「 CRF を使った Web 本文抽出」について話をさせていただきました。 CRF を使った Web 本文抽出 for WebDB Forum 2011 View more presentations from Shuyo Nakatani この発表は、過去に2回(自然言語処理勉強会＠東京(TokyoNLP) 第1回、確率の科学研究会 第1回)で話をさせてもらったことと、WebDB Forum という場であること、さらに発表時間が 20分*1ということを考えて、今回は非常にスリムな内容になっています。 CRF についてはズバッとはしょって、その代わりに系列ラベリングを本文抽出に使うというのはどういうことか、という図を入れましたので、さらっと読むには一番わかりやすいのでは
系列ラベリング問題メモ - Negative/Positive Thinking
はじめに 系列ラベリング問題についてちょっと調べてみたのでメモ。 系列ラベリング(系列分類)問題とは ある系列xの各要素に適切なラベル列yを付与する問題 例えば「This is a pen」という文書の各単語に「This(代名詞) is(動詞) a(冠詞) pen(名詞)」のように品詞ラベルをつける問題(品詞タグ付け) 系列だけでなく木構造などへの適用もされている 構造学習 ラベル、木、グラフ、順序集合など 応用 品詞分類 形態素解析(ラティスのコスト計算なども) チャンキング(基本名詞句(Base NP)同定、固有表現抽出、文節まとめあげなど) 系列セグメンテーション問題 時系列解析や画像認識 など 系列ラベリング問題の特徴 普通の多値分類との違いは、「注目している要素xi以外の情報も使えること」と「クラスの数が膨大になりやすいこと」がある。 注目している要素以外の情報も使える 多値分類
SVMを用いたチャンキングツールYamChaを使ってみた - nokunoの日記
SVMを用いたチャンキングツールのYamChaを使ってみました．YamCha: Yet Another Multipurpose CHunk Annotator実験データとして，CoNLL2000のSharedTaskを使いました．ChunkingYamchaのインストールはTinySVMに依存してたりするのですが，id:hjym_uさんが登録しMacPortsがあったので使ってみました．自然言語処理・機械学習ツールのMacPortsを登録 - 自然言語処理 on Macsudo port install yamchacp /opt/local/libexec/yamcha/Makefile .make CORPUS=train.txt MODEL=chunking trainyamcha -m chunking.model result.txt実行結果head result.txtRoc
日本テレビ東京で学ぶMeCabのコスト計算 | mwSoft
今回はこの言葉の解析をMeCab＋NAIST辞書にお願いして、結果を分析することで、MeCabが行っているコスト計算について勉強してみたいと思います。 とりあえず実行してみる さっそくMeCabに「日本テレビ東京」を解析してもらいましょう。 $ echo 日本テレビ東京 | mecab 日本 名詞,固有名詞,地域,国,*,*,日本,ニッポン,ニッポン,, テレビ東京 名詞,固有名詞,組織,*,*,*,テレビ東京,テレビトウキョウ,テレビトーキョー,, EOS 「日本 | テレビ東京」と分けていますね。視聴率的には負けていますが、NAIST辞書的には日本テレビよりもテレビ東京が優先されたようです。 ちなみに「フジテレビ東京」ではどうなるでしょうか。 $ echo フジテレビ東京 | mecab フジテレビ 名詞,固有名詞,組織,*,*,*,フジテレビ,フジテレビ,フジテレビ,, 東京 名詞,
これからはじめる人のための機械学習の教科書まとめ - EchizenBlog-Zwei
最近では企業における機械学習の認知度も高まっていてエンジニアの求人募集でも「望ましいスキル：機械学習」というのをよく見かける。特にweb系の企業だと当たり前のように機械学習を活用した魅力的なサービスが生み出されているようだ。 そんなわけで先日書いた機械学習の入門記事もそれなりに好評で末尾の教科書リストも結構参考にしていただいた様子。ということで、これから機械学習をはじめる人のためにオススメの教科書を10冊ほどピックアップしてみた。 幸いにして機械学習の分野には良書が多い。5年前はナイーブベイズすら知らなかった私も、これらの教科書のおかげでなんとか機械学習を使えるようになりました！(個人の体験談です。効果には個人差があります) 参考: 機械学習超入門 〜そろそろナイーブベイズについてひとこと言っておくか〜 - EchizenBlog-Zwei 最初に既存の機械学習の教科書まとめを挙げておくの
ニフティがTwitter向けの新技術を開発，つぶやきの内容に合わせてハッシュタグを自動推薦
インターネット接続事業大手のニフティは，ミニブログ・サービス「Twitter」にユーザーが投稿する「つぶやき（tweet）」の内容を解析し，関連するハッシュタグを自動で推薦する技術を開発した。 ハッシュタグは，つぶやきの文章の最後などに「#英字列」の文字列を付加することで，投稿をグループ化するTwitterの機能。同じテーマや出来事に関する投稿を検索しやすくなり，同好の士との交流のキッカケづくりなどに利用できる。 ニフティは今回の技術を公開することで，ソーシャル・メディア関連の利用者増やビジネスでの協業につなげたい考えだ。ここにきて，ネット・テレビの分野ではTwitterをはじめとするソーシャル・メディアをテレビ番組の推薦機能などに利用する動きが活発になっている。今回開発した技術は，そうしたデジタル家電向けのWebサービスにも活用できる可能性がある。 つぶやきとハッシュタグの関連度を重み付
機械学習による自然⾔語処理 チュートリアル 〜PerceptronからCRFまで〜 (2008-08-03-crf.pdf)
機械学習による自然⾔語処理 チュートリアル 〜PerceptronからCRFまで〜 岡野原 大輔 東京大学 Preferred Infrastructure 2008 8/3@PFI本郷オフィス 目次 • 自然⾔語処理 紹介 • 機械学習導⼊ • パーセプトロン • バッチ学習 (最大エントロピー法) • 過学習/正則化 • 多クラス分類 • 系列分類 (CRF, Structured Perceptron) このへんで 眠くなる 自然⾔語処理 (1/2) • ⾔語情報をコンピュータで処理する – コンピュータ⾔語の研究との対⽐で自然⾔語 – 世界最初のコンピュータの出現の頃から自動翻訳は 試みられている。コンピューターサイエンスの中で も歴史の⻑い分野 – 近年ビジネス的にも成功, Googleなどなど • 非常に幅広い分野と接触する、境界領域 – 処理する⼿法 = ⾔語学, 数学,
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Engadget | Technology News & Reviews
マンションポエム徹底分析！
GitHub - takuyaa/kuromoji.js: JavaScript implementation of Japanese morphological analyzer
GitHub - jaukia/cld-js: Compact Language Detector for Javascript. Detect the language of any piece of text.
CRF を使った Web 本文抽出
単純グッド・チューリング推定法 (Simple Good-Turing Estimation) とは何ぞや？ - あらびき日記
