Understanding Natural Language with Deep Neural Networks Using Torch | NVIDIA Technical Blog
After the machine has learned word embeddings, the next problem to tackle is the ability to string words together appropriately in small, grammatically correct sentences which make sense. This is called language modeling. Language modeling is one part of quantifying how well the machine understands language. For example, given a sentence (“I am eating pasta for lunch.”), and a word (“cars”), if th
J.DepP - C++ implementation of Japanese Dependency Parsers
About J.DepP is a C++ implementation of Japanese dependency parsing algorithms [1,2,3,4]. It takes a raw sentence as input and performs word segmentation, POS tagging (thanks to MeCab), bunsetsu chunking and dependency parsing. Syntactic parsers have been believed to be (significantly) slower than front-end part-of-speech taggers, and it is rarely utilized in industry that needs to handle massive
MeCab で UniDic 辞書を使ってみる / 桃缶食べたい。
MeCab で UniDic 辞書を使ってみる MeCab で使える形態素解析用の辞書は、IPA 辞書の他にもいくつか公開されています。そのひとつであるUniDic は、IPA 辞書よりも個々の単語を詳細に分類したもので、分割した形態素が文中で果たす役割をより精密に検出することができます。UniDic はメンテナンスが頻繁に行われているようで、最新版は 1 ヶ月ほど前の 2013/3/14 にリリースされた 2.1.2 になります。ライセンス形態は GPL、LGPL、BSD License のトリプルライセンスとなっていて、その点でも、エンジニアにとっても採用しやすい辞書となっています。 今回はこの UniDic を実際にビルドし、MeCab から使ってみることと、辞書の再学習までを試してみました。 MeCab で UniDic を使うUniDic はバイナリ辞書も配布されていますが、ここ
日本語評価極性辞書 - Open Resources/Japanese Sentiment Polarity Dictionary - 東北大学 乾・岡﨑研究室
日本語評価極性辞書（名詞編） † 評価極性を持つ（複合）名詞，約8千5百表現に対して評価極性情報を付与した，人手によるチェック済みのデータ．名詞の評価極性は概ね以下の基準に従う（東山, 2008）． 〜である・になる（評価・感情）主観： 「○○が〜である・〜になる」ことは，○○をP/Nと評価しているか？ ポジティブ：誠実，安寧，親切，中立，名手，英雄，第一人者，幸せ ネガティブ：弱気，鬱 〜である・になる（状態）客観： 「〜（という状態）になる」ことは良いことか悪いことか？ ポジティブ：合格者，快晴 ネガティブ：ガン 〜い（評価・感情）主観： 「〜い」は良いか悪いか？ ポジティブ：美しさ ネガティブ：弱さ 〜する（感情）主観： 「〜する」は良い感情か，悪い感情か？ ポジティブ：感嘆 ネガティブ：失望 〜する（出来事）： 「〜する」ことは嬉しいことか嫌なことか？ ポジティブ：善戦，成就，合格
NIPS2013読み会でword2vec論文の紹介をしました
先週、 @sla さん主催のNIPS2013読み会で、word2vec論文（正確には続報）の紹介をしました。 ちょっと解説を書きます。 このところの深層学習ブームは自然言語処理にも来ていて、それらのウチの1つと言われています（が、全然deepっぽさはない）。 最初のモチベーションがどういうところにあったかというのは、ちょっと色々だと思いますが（おそらく最初は言語モデルにおける低頻度語の確率をウマイことモデル化・推定したかったんではないかな）、何はともあれ単語の意味的なあるいは統語的な振る舞いをベクトル表現で表すという研究が流行っております。 ベクトル表現というのは、1つの単語wに対して、その単語を「表現」するようなベクトル v(w) を作ります。 そんなこといわれても、作れば？ということなんですが、できたベクトルに対して何かしら「都合のいい」性質ができることが真の目標です。 「都合のいい」
喜びの多いプログラミング言語はObjective-CとPHPと判明
いやいやもっと楽しい言語あるでしょ？と思った方にとっても興味深い調査結果がExploring Expressions of Emotions in GitHub Commit Messages(GitHub上のコミットメッセージの感情表現の調査)として公開されていました。記事の作者はベルリンのRamiro Gómezさんで、自然言語とプログラミング言語の双方に関心のある彼はGitHubが公開した統計情報からさまざまな感情表現をコミットメッセージから探して分析するという調査を行いました。これによりanger(怒り), joy(喜び), amusement(楽しみ) surprise(驚き)の表現が多く使われているプログラミング言語のランキングを生成して公開しています。 怒りの言語はVimL、C、Shell 怒りのランキングではangry(腹を立てる)、annoying(いらいらする)、cra
The Porter Stemming Algorithm
This page was completely revised Jan 2006. The earlier edition is here. This is the ‘official’ home page for distribution of the Porter Stemming Algorithm, written and maintained by its author, Martin Porter. The Porter stemming algorithm (or ‘Porter stemmer’) is a process for removing the commoner morphological and inflexional endings from words in English. Its main use is as part of a term norma
MySQL :: MySQL 8.0 Reference Manual :: 14.9.4 Full-Text Stopwords
Functions That Test Spatial Relations Between Geometry Objects
)
Microsoft Help Stop-Word List
A stop-word list omits commonly occurring words or numbers from a full-text search, thus increasing the speed of the search. Use the following guidelines when creating your stop list. A stop-word list can have only one word per line with no leading or trailing spaces. Any character after the first word on a line is ignored. Apostrophe characters (') are stripped out, and letters before and after a
Unicodeで「漢字」の正規表現 – ものかの
改訂：2017/07/22 Unicode 10.0に合わせて書き直し。正規表現を簡易にしようとしてやりすぎていたのを修正。 改訂：2023/03/21 U+30000以降を追加。InDesignの正規表現を追記。 正規表現で漢字の範囲指定をする場合、Unicodeではどうするかが悩ましいところです。 Unicodeの漢字の範囲として [一-龠] にしている例を見かけます。しかしこれは旧規格JIS X 0208の漢字が含まれる範囲をUnicodeの中から切り出しているだけです。互換漢字ブロックをまるごと取りこぼしているので、WindowsのシフトJIS（CP932）の拡張漢字に当たるものが含まれていません。現規格JIS X 0213の第３・第４水準漢字も考慮されていません。簡易な範囲指定だとしても、新常用漢字の「𠮟」が含まれておらず、今から見るとあまりに時代遅れです。 Unicodeのす
New community features for Google Chat and an update on Currents
Join the official community for Google Workspace administrators In the Google Cloud Community, connect with Googlers and other Google Workspace admins like yourself. Participate in product discussions, check out the Community Articles, and learn tips and tricks that will make your work and life easier. Be the first to know what's happening with Google Workspace. ______________ Learn about more Goo
kuromoji - japanese morphological analyzer
About Kuromoji Kuromoji is an open source Japanese morphological analyzer written in Java. Kuromoji has been donated to the Apache Software Foundation and provides the Japanese language support in Apache Lucene and Apache Solr 3.6 and 4.0 releases, but it can also be used separately. Downloading Download Apache Lucene or Apache Solr if you want to use Kuromoji with Lucene or Solr. See below for so
New community features for Google Chat and an update on Currents
Join the official community for Google Workspace administrators In the Google Cloud Community, connect with Googlers and other Google Workspace admins like yourself. Participate in product discussions, check out the Community Articles, and learn tips and tricks that will make your work and life easier. Be the first to know what's happening with Google Workspace. ______________ Learn about more Goo
PerlでKyTea
1. OECU Visual Media Lab. Perl で KyTea 大阪電気通信大学 吉岡 康平 (@_pawa_) 2011 年 11 月 26 日 Kansai.pm #14 1 2. OECU Visual Media Lab. Kansai.pm #14 自己紹介 大阪電気通信大学 ３年生 視覚・メディアの研究室（ 3 年次に卒研がある） 趣味：草野球 2 3. OECU Visual Media Lab. Kansai.pm #14 KyTea とは 読み方：きゅーてぃー JUMAN ・ ChaSen ・ MeCab より新しい，形態素解 析も可能なテキスト解析器 特徴 簡単に分野適応が可能 読み・発音推定も可能 3 4. OECU Visual Media Lab. Kansai.pm #14 第 8 回 NLP 勉強会にも登場！？ 2011 年 11 月 23 日
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Google Code Archive - Long-term storage for Google Code Project Hosting.
MikuCha(ミクチャ) - 精神状態確認アプリケーション 自然な対話からあなたの「うつ」のリスクをチェックします。
http://jmlr.csail.mit.edu/papers/volume5/lewis04a/a11-smart-stop-list/english.stop
文書水増しアプリが欲しい | kozawa のたまに気になること
文脈にもとづく未知語獲得にお ける識別モデルの適用: nlp.pdf
ryu-i:syncha:start [自然言語処理研究室 (徳永研・藤井研)Computational Linguistics/Natural Language Processing Group]