GitHub - diasks2/ruby-nlp: A collection of links to Ruby Natural Language Processing (NLP) libraries, tools and software
Ruby Natural Language Processing Resources A collection of Natural Language Processing (NLP) Ruby libraries, tools and software. Suggestions and contributions are welcome. Categories APIs Bitext Alignment Books Case Chatbot Classification Date and Time Emoji Error Correction Full-Text Search Keyword Ranking Language Detection Language Localization Lexical Databases and Ontologies Machine Learning
SALM: Toolkit of using Suffix Array in Empirical Natural Language Processing
SALM: Suffix Array and its Applications in Empirical Language Processing By Joy, Email me What is SALM? SALM is C++ package that provides functions to locate and estimates statistics of n-grams in a large corpus. SALM toolkit provides example applications such as estimating type/token frequency, locating n-gram occurrences, and a suffix array language model that can have arbitrarily long history
N-gram - Negative/Positive Thinking
はじめに 文書の数学的表現をするためによく用いられるものに「N-gram」というものがある。 最近ちょっと混乱ので、ちゃんとまとめてみる。 N-gramとは？ 「文章などで隣り合うn個のこと」 文書を数学的に扱うために、普通に考え付くのが「その単語がでたかどうか」や「単語とその頻度」などだけど、 それだけじゃないのがn-gram。 n-gramを要素として考えることで、さまざまな文書のベクトル表現ができる(二値ベクトル、頻度ベクトルなど)。 単語n-gram 「this is a pen」という文書が与えられたとき、この文書を分解したい。 以下のように、隣り合うn個の単語を一塊として考えるのがn-gram。 1-gram(unigram) {this, is, a, pen} 2-gram(bigram) {this-is, is-a, a-pen} 3-gram(trigram) {th
自然言語処理はじめました - Ngramを数え上げまくる
前編 (平衡二分探索木編) はこちら http://www.slideshare.net/iwiwi/2-12188757
開発メモ: WikipediaのN-gram頻度DBを作る
Wikipedia英語版の本文中に出てくる単語の5-gramまでの組み合わせの頻度を数えてみた。全部で10億N-gramくらい処理した。 背景 英和辞書の収録語を選定するにあたり、単語N-gramの出現頻度を知っておくことが重要だ。前回の記事ではCOCA（Corpus of Contemporary American English）のN-gram頻度DBを利用したが、その他の選択肢も検討してみたい。COCAは口語とフィクションと雑誌と新聞と学術論文をバランスよく選定していると主張していて、確かに俺が知っているような英単語・熟語は大抵網羅されている。が、コーパス自体を自分で入手して前処理できると各種のチューニングができて嬉しいこともあるだろう。 で、簡単に手に入る大量のコーパスといえば、Wikipediaの記事である。Wikipediaの方が偏りがひどいという話もあるが、一般人が書く英語と
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
DropCatch.com
Ngram counting solution comparison
suffix array c++ ngram - Google 検索
N-Gram Data Stractures
Google
Google Books Ngram Viewer