好きな品詞の組み合わせのフレーズを抜き出すPythonパッケージ「negima」を作った - ぴよぴよ.py
日本語の自然言語処理が絡んだ作業をする際に、 名詞だけ抜き出したい 名詞だけ抜き出したいが、接頭詞の「未」「非」とかもくっつけて抜き出したい 形容詞を抜き出したいが、否定の「ない」もくっつけて抜き出したい みたいに形態素解析をしたあとに形態素同士をつなげてフレーズの抽出をしたいシチュエーションがよくあると思う。 そういった特定の品詞の組み合わせをルールを定義することで、フレーズを抜き出せるPythonパッケージ「negima」を作った。 概要 例えば複合名詞を抽出したい場合、このようなルールを定義する。 id min max pos0 pos1 pos2 pos3 pos4 pos5 nouns 0 2 接頭詞 1 4 名詞 一般|サ変接続|数 0 2 名詞 接尾 このルールをnoun.csvとしてファイルに定義したとすると、 0個以上2個以下の接頭詞ではじまり、 1個以上4個以下の名詞(
100 Must-Read NLP Papers
100 Must-Read NLP Papers This is a list of 100 important natural language processing (NLP) papers that serious students and researchers working in the field should probably know about and read. View on GitHub 100 Must-Read NLP Papers This is a list of 100 important natural language processing (NLP) papers that serious students and researchers working in the field should probably know about and rea
自然言語処理の国際会議がx倍楽しめる10の必修英語フレーズ - worldwidewug #3
NAACLに日本から来た学生さんと何人か話していてちょっと思うところがあったので、自然言語処理系の国際会議をより楽しむための10の必修英語フレーズを紹介したいと思います。 （タイトルに「自然言語処理の」とあります*1が、他の分野でも使えそうであればぜひ活用してみてください!） 最初に注意事項 ※x>0, xは新しく出会ったnon-Japaneseの人数とする。 ※個々人の性格（内向的・外向的）や価値観もあるので、積極的にコミュニケーションを「全員が取るべき」とは思いません。「色々な人と話してみたいけど、どうすればいいのかわからない」というような方（例えば3年前の自分とか）の助けになればいいなと思います。*2 ※下のフレーズが正しいという保証はありません*3。自分がよく使っているなと感じたものをピックアップしています。 10の必修英語フレーズ Hi, （もし知り合いだったら、Hey, how
Gensim: topic modelling for humans
class gensim.models.doc2vec.Doc2Vec(documents=None, corpus_file=None, vector_size=100, dm_mean=None, dm=1, dbow_words=0, dm_concat=0, dm_tag_count=1, dv=None, dv_mapfile=None, comment=None, trim_rule=None, callbacks=(), window=5, epochs=10, shrink_windows=True, **kwargs)¶ Bases: Word2Vec Class for training, using and evaluating neural networks described in Distributed Representations of Sentences
Deep Learning for Natural Language Processing | Memkite
This blog post gives a brief overview of recent deep learning for Natural Language Processing (NLP) publications sampled from the NLP category published on http://deeplearning.university (disclaimer: this was quickly put together for a local workshop, but hopefully useful) Best regards, Amund Tveit Sentiment Analysis Adaptive multi-compositionality for recursive neural models with applications to
slearp プロジェクト日本語トップページ - OSDN
Slearp (structured learning and prediction) is the structured learning and predict toolkit for tasks such as g2p conversion, based on discriminative leaning. Currently, slearp is implemented to be convenient for a learning of g2p conversion model. However, slearp can be applied in another structured learning problems such as morphological analysis, with some devisals. Given a training dataset whic
rakutenma
View statistics for this project via Libraries.io, or by using our public dataset on Google BigQuery Meta License: Apache Software License (Apache Software License) Author: Yukino Ikegami Tags morphological, analyzer Rakuten MA Python Rakuten MA Python (morphological analyzer) is a Python version of Rakuten MA (word segmentor + PoS Tagger) for Chinese and Japanese. For details about Rakuten MA, Se
PythonでMeCabの制約付き解析を使う - Qiita
MeCabには制約付き解析という機能がありますが、これについて説明している記事がほとんどなかったので手探りで試してみました。 MeCab 0.996 Python 3.4 mecab-python3 0.7 制約付き解析とは 入力文の一部の形態素情報が既知である、あるいは境界がわかっているときに、 それを満たすように解析する機能です。 たとえば、「にわにはにわにわとりがいる。」という文に対して、「はにわ」の部分が名詞であるとか、「にわとり」の部分が一つの形態素であるというように指定した上で解析することができます。このとき、制約に反する4文字目の「は」が単独で形態素となったり、「にわとり」が「にわ」と「とり」に分割されるような解析候補は排除されます。 制約付き解析 (部分解析)より 形態素境界の制約をつける 文の一部の形態素境界がわかってるときに、その部分を一つの形態素として扱って解析するよ
Pure Python 版オンライン形態素解析ツール Rakuten MA - Qiita
Pure PythonなRakuten MAを書いたのでその紹介記事です。 Rakuten MAとは Rakuten MAは、楽天NLPプロジェクトさんによるJavaScriptの形態素解析器です。逐次でオンライン学習して手軽にモデルを更新できる点やブラウザを介してクライアント側から形態素解析ができる点などが特長だと思います。 詳しくは、以下の記事の説明がわかりやすいです。 本家 Rakuten MA 日本語ドキュメント パソコン工房のPCで遊ぼう第2弾！ あんちべさんと一緒に Rakuten MA で形態素解析 - はてなニュース RakutenMAによる形態素解析入門 - あんちべ！ Python版 Rakuten MA そんなRakuten MAをPythonで使いたいと思ったので、Python版を書きました！ $ pip install rakutenma でインストールできます。
ナイーブベイズを用いたテキスト分類 - 人工知能に関する断想録
今までPRMLを読んで実装を続けてきましたが、10章からは難しくて歯が立たなくなってきたのでここらで少し具体的な応用に目を向けてみようと思います。機械学習の応用先としては画像の方が結果を見ていて面白いんですが、当面は自然言語処理を取り上げます。そんなわけで一番始めの応用は機械学習と自然言語処理の接点として非常に重要なテキスト分類（Text Classification, Text Categorization）の技法たちを試していきたいと思います。テキスト分類は文書分類（Document Classification）という呼び方もあります。テキストと文書は同じ意味です。最初なので自分の知識の整理と入門者への紹介のためにちょっと丁寧にまとめてみました。 テキスト分類とは テキスト分類とは、与えられた文書（Webページとか）をあらかじめ与えられたいくつかのカテゴリ（クラス）に自動分類するタス
集合とかベクトルの類似度の計算のメモ - 唯物是真 @Scaled_Wurm
Pythonで実装する類似度計算 - Screaming Loud #1283. 共起性の計算法 ↑この辺りの記事を見て、集合とかベクトルの類似度の計算の記事を下書きのまま放置していたことを思い出したので書き上げた。 類似度の計算のコードを書いたのでそれを載せるだけにしようかと思ったのですが、知っている人にしか伝わりそうにないので自然言語処理でよく使う話の概要だけでも書いときます。 導入 自然言語処理の分野では単語の意味を比較するときに、ある単語の周り(文脈)に出てきた単語のベクトル(文脈ベクトル)の類似度を計算することがある。 これは「ある単語の意味はその周囲に出現する単語によって特徴づけられている」という仮説に基づいていて、文脈ベクトルが似ていれば似たような意味、似たような状況で使われる単語が多いということが言えるからである。 Distributional semantics - Wi
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
分散表現に関して思うこと - Kazuma Hashimoto (橋本和真)
コロケーション抽出に使われる C-value とは何か？ - あらびき日記
Loading...