spaCy: Industrial-strength NLP — spaCy 1.0 documentation
spaCy: Industrial-strength NLP¶ spaCy is a new library for text processing in Python and Cython. I wrote it because I think small companies are terrible at NLP. Or rather: small companies are using terrible NLP technology. To do great NLP, you have to know a little about linguistics, a lot about machine learning, and almost everything about the latest research. The people who fit this description
都立大 自然言語処理研究室 - 自然言語処理を学ぶ推薦書籍
自然言語処理を学ぶ推薦書籍を紹介します。2021年03月現在、自然言語処理を勉強したい理工系の学生・エンジニアの人は、以下の本を推薦します。 （概要）自然言語処理（放送大学出版） （理論）言語処理のための機械学習入門＋深層学習による自然言語処理 （実装）Python 機械学習プログラミング 第3版 自然言語処理を勉強したい、非理工系・非エンジニアの人には、以下の本を推薦します。 （数式なし）自然言語処理の基本と技術 （数式あり）自然言語処理（放送大学出版） オライリーから出ている「入門 自然言語処理」は特殊な本（詳しい人がこれを使ってレクチャーしてくれるならともかく、独習に向いていない）で、Python 2 で書かれているだけでなく、すでに動かなくなったコードも多々あり、2019年時点では読まない方がいい本です。（それでもどうしても、意地でも読みたい人は、本家にある Python 3 対応
都立大 自然言語処理研究室 - 自然言語処理が学べる研究室
2023年3月をもちましてこちらのページの更新を停止します。ご活用いただき、ありがとうございました。 自然言語処理を学ぶことができる研究室をリストアップします。自然言語処理の研究をしている（= 国内では言語処理学会を主な研究発表の場所としている）教員が2名以上いる大学が対象です（私立大学は早稲田大学と法政大学と豊田工業大学です）。うち、教員が1研究室で3人以上いるのは北大荒木研、東北大乾研、筑波大山本研、東工大奥村研、名大外山研、京大黒橋研、NAIST中村研（ただし中村先生定年のため2022年現在募集停止）、NAIST渡辺研、NAIST荒牧研です。教員が1人だけしかいない研究室と、3人以上いる研究室（特に博士後期課程の在学生が多いところと）は質的にも量的にも違うと思いますので、博士後期課程に進学するつもりの人は、少なくとも1カ所はそれらの研究室を見学したほうがよいでしょう。博士前期課程から
Deep-learningはラテン語の動詞活用を学習できるか？ Can deep-learning learn latin conjugation? - naoya_t@hatenablog
ラテン語ネタが続きますが 工藤さんがぐぐたすで紹介してた word2vec が面白そうだったので。 https://code.google.com/p/word2vec/ で少し遊んでみた。いわゆる deep learning で 単語のベクトル表現を学習してくれる。 面白いのは、2つのベクトルの差が、2つの単語の関係をよく近似してくれること。 It was recently shown that the word vectors capture many linguistic regularities, for example vector operations vector('Paris') - vector('France') + vector('Italy') results in a vector that is very close to vector('Rome'), and
第5回最先端NLP勉強会
概要 自然言語処理分野におけるトップジャーナル・トップカンファレンスであるTACL (vol.1)、ACL 2013、NAACL 2013の論文の中から、参加者の投票によって厳選した論文を、各参加者が紹介する勉強会です。 勉強会の参加者は、各自1～2本の論文を担当し、全体で30本程度の論文の紹介をします。 第1回目は1研究室のメンバーを中心とした会でしたが、第2回目より、研究室の枠を超え、東京近郊の様々な研究室の学生・研究者有志一同による勉強会として開催しております。 このイベントを通じて、研究者間の活発な情報交換・意見交換・交流が行われ、今後の研究に活かされることを本勉強会の狙いとしています。 昨年の勉強会の様子 スケジュール 8月31日 (土)
New community features for Google Chat and an update on Currents
Join the official community for Google Workspace administrators In the Google Cloud Community, connect with Googlers and other Google Workspace admins like yourself. Participate in product discussions, check out the Community Articles, and learn tips and tricks that will make your work and life easier. Be the first to know what's happening with Google Workspace. ______________ Learn about more Goo
Kneser-Ney Smoothing を試してみた - 木曜不足
Kneser-Ney Smoothing は高性能な言語モデルである。と、よく聞かされて知っているつもりだけど、まだ一度も試したことがなかったので、試してみた。 コードはここ。 https://github.com/shuyo/iir/blob/master/ngram/knsmooth.py 実験用にべったり書いているのでコピペは多いし、速度やメモリの効率も悪いが、まあ気にしないで。 コーパスは最初手元の適当なニュースコーパスを使っていたんだけど、それだと再現検証できないので、nltk のコーパスを使うように変更した。 nltk.corpus の下にあるコーパスモジュール名を -c オプションで与えると、そのコーパスを使って additive smoothing と Kneser-Ney smoothing の perplexity を出してくれる。 デフォルトでは Brown コーパス
テキスト自動要約メモ - Negative/Positive Thinking
はじめに 前から気になっててほっといてた自動要約についてメモ。 文短縮とか試してみたい。 テキスト要約 与えられたテキストをより短いテキストに簡潔にまとめること 要約率 = (要約後の文字数or文数) / (与えらえたテキストの文字数or文数) 要約の過程 以下の3つがある(とされている) 1.テキストの解析と理解 2.要約の内部表現への変換/変形 3.内部表現から要約テキストの生成 ただし、これらをすべてきちんとやるのは難しい 人間の場合は、以下のような行為が行われているとか 不要句の削除 文の結合 構文的変形 句の言い換え 句の置き換え 文の並び替え 考慮すべき点 長さ ジャンル/分野 単一文/複数文 なんのための要約か？利用方法 出力形式 重要文抽出 テキストから重要な文を抜き出す要約手法 なんらかの情報をもとに重要度を計算 要約率などの条件を満たすまで文を選択する 機械学習や確率値
SHDCRF の実装をアップしておきました
公開するかどうか悩んだのですが、公開することにしました。 http://code.google.com/p/uchumik/ 説明のスライドも slideshare にアップしています。 ただいまコンバート中なのでまたそちらは後ほど。 コンバート終わったようなので埋め込み。 何故か17ページ目の周辺化の式でΣが出なくなっている様子。 コンバートのエラーかな。 Shdcrf from uchumik スライドは元々 DSIRNLP#3 での 20 分の発表用に作ったため、CRF や Forward-Backward アルゴリズム、 Viterbi アルゴリズムは聴衆者の方々が理解していることを前提としています。 なので、いきなり読んでも非常に分かりにくいものとなっています。 先に TokyoNLP で発表した CRF の資料を見てもらうと多少分かりやすくなるかと思います。 http://u
Tree Edit Distanceと自然言語処理への応用 - Preferred Networks Research & Development
海野です。ちょっと時間があいてしまいましたが、昨年の12月に開催されたNTCIR-9という会議のRecognizing Inference in TExt (RITE)というタスクに、前職の方々と共著で出場しました。 Syntactic Difference Based Approach for NTCIR-9 RITE Task. Yuta Tsuboi, Hiroshi Kanayama, Masaki Ohno and Yuya Unno. NTCIR-9, 2011. [pdf] 含意関係認識といわれるこのタスクは、大雑把に言うと与えられた2つの文が同じ意味のことを言っているかどうか判定しなさいというタスクです（厳密には一方からもう一方が帰結できるかの判定です）。今日は、その中で使ったTree Edit Distance (TED) について解説します。 TEDは2つの順序付き木が
Survey1
Survey1 SVMを用いた固有表現抽出に関する論文のサーベイ 1.Support Vector Machineを用いた日本語固有表現抽出 2.Support Vector Machineの多値分類問題への適用法について 3.SVMに基づく固有表現抽出の高速化 4.日本語固有表現抽出における文節情報の利用 5.Stackingの効率的な学習方法と日本語固有表現抽出での評価 6.非頻出語に対して頑健な日本語固有表現の抽出 7.大域的情報を用いた日本語固有表現認識 SVMを利用した日本語固有表現抽出に関する論文が中心です． 固有表現タグを入力文の解析単位毎に正確に付与することが目的です． チャンカーは基本的にYamCha 1.Support Vector Machineを用いた日本語固有表現抽出 山田寛康 工藤拓 松本裕治 奈良先端科学技術大学院大学情報科学研究科 概要
言語モデル構築Toolメモ - Negative/Positive Thinking
はじめに 世の中には言語モデルを構築するToolkitはたくさんあるということで、簡単に探してみた。 言語モデルツールキット SRILM - The SRI Language Modeling Toolkit http://www.speech.sri.com/projects/srilm/ Palmkit - a statistical language modeling toolkit http://palmkit.sourceforge.net/ Kylm - 京都言語モデルツールキット http://www.phontron.com/kylm/index-ja.html CMU SLM Toolkit http://www.speech.cs.cmu.edu/SLM_info.html KenLM - Faster and Smaller Language Model Querie
LDA のパープレキシティを使うとき - 木曜不足
NLP2012 のポスター発表にて、LDA の文字を見かけるたびに思わずフラフラ〜と近寄り、あーだこーだ無責任なことを述べていたら、決まって「 shuyo さんですよね？」 なんでも、お茶の水大の小林先生の研究室の学生さんはみなさん揃って（かな？）トピックモデルをなにがしか絡めて研究されており、このブログの LDA ネタを参照していただけているという。なんとも有り難いというか照れくさいというか。 なにがしかのお役に立てているのはもちろん嬉しい反面、n_shuyo は言語処理も機械学習も専門家ではないので、ここに書いてあることを鵜呑みにはしないでいただくことはやっぱりお願いしておかなければ。 というわけで、不足や間違いの指摘は絶賛大歓迎＞読者各位 で、ここまで前振り。 そうしたポスターの発表を拝見させていただいていた中で、パープレキシティ周りの扱いがちょっと気になったので、少し思うところをま
New community features for Google Chat and an update on Currents
Join the official community for Google Workspace administrators In the Google Cloud Community, connect with Googlers and other Google Workspace admins like yourself. Participate in product discussions, check out the Community Articles, and learn tips and tricks that will make your work and life easier. Be the first to know what's happening with Google Workspace. ______________ Learn about more Goo
極大部分文字列を使った twitter 言語判定(中谷 NLP2012) - 木曜不足
来たる 3/13〜16 に広島で行われる言語処理学会年次大会(NLP2012)にて発表する「極大部分文字列を使った twitter 言語判定」の論文を公開。 中谷 秀洋, 極大部分文字列を使った twitter 言語判定, 言語処理学会第18年次大会, 2012 http://ivoca.31tools.com/misc/nlp2012_nakatani.pdf 【注】 言語処理学会の公開規定が「大会での発表後」であったため、一旦公開を取り下げていましたが、発表終了したので再公開しました。 http://www.anlp.jp/rules/repository.html 【／注】 第8回 TokyoNLP で発表した「∞-gram を使った短文言語判定」と基本線は同じ。ただしその発表の時にお約束していたとおり、17言語の判定精度で 99.1% を達成している。99% 越えは作り始める前から
DOM Based Content Extraction via Text Densityのbindingを書いたよ - y_tagの日記
SIGIR 2011のDOM Based Content Extraction via Text Densityが、シンプルなアルゴリズムながら良さそうな結果を示していたので、著者のコードを改変してSWIGでPerlとPythonのbindingを作った。 下手な英文メールにも関わらず、コードの利用を快く認めて下さったFei Sunさん、ありがとうございます！ cpp-ContentExtractionViaTextDensity - GitHub これは何をするものかというと、タイトルどおり、DOMツリー上でText Densityという指標を用いてウェブページの本文抽出を行うもの。機械学習とかではなく、単純に決められた方法で計算されたText Densityを用いるだけのシンプルなアルゴリズムである。 Text DensityはDOMノードごとに計算され、シンプルにテキストの文字数をタ
Social IMEの共有辞書を公開しました - nokunoの日記
表題の通り，Social IMEの共有辞書を公開しました．dictionary.tar.bz2 - nokuno - Dictionary data including Social IME, Wikipedia, MS-IME - nokunoの個人リポジトリ - Google Project Hosting 実際にはSocial IMEの辞書だけでなく，Wikipediaから括弧表現をマイニングしたものや，はてなキーワードをクリーニングしたもの，MS IMEのユーザ辞書をWebからクロールするスクリプトを含んでいます．各辞書の単語数は以下のとおりです． 辞書 Social IME Wikipedia Hatena 単語数 48k 137k 235k Social IMEに登録される単語やWikipediaからのマイニングで得られる単語には，多くのノイズが含まれています．このノイズを取り
第2回DSIRNLP勉強会に参加しました #dsirnlp - nokunoの日記
第2回 データ構造と情報検索と言語処理勉強会 #DSIRNLP - [PARTAKE] 自然言語処理はじめました by @phylloさん自然言語処理はじめました - Ngramを数え上げまくるDSIRNLPで発表させていただきました - Negative/Positive Thinking 自己紹介：Negative/Positive Thinking 今日の概要：いろんな方法でN-gram頻度を数える N-gramとは？ 隣り合うN個の塊のこと 単語n-gramや文字n-gramがある ナイーブな方法 ハッシュに入れて数える 問題：大規模テキストやNを大きくしたら？ N-gramの異なり数はNに対して指数的に爆発する 解決法：N-gramをメモリに保存しない！ Suffix Arrayを使った方法 入力文のSuffix Arrayを使った方法 メモリの節約になってる？：3*N+4byt
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Google Code Archive - Long-term storage for Google Code Project Hosting.
R による文書分類入門 & KNB コーパスの文書分類 - あらびき日記
