本当に必要なN-gramは2割しかない - nokunoの日記
Entropy-based Pruning of Backoff Language Modelsを読んだ．単語N-gramはとてもよくできていて言語モデルとしての性能はかなりのものなのだが，なんの枝刈りもせずに中規模〜大規模なデータに適用しようとするとサイズが馬鹿でかくなってしまう．そのための対策としてよくあるのが語彙のサイズを制限する方法と，N-gramの頻度が一定以下のものを切り捨てるという方法（後者の場合は語彙も自動的に制限される）．Google 日本語N-gramなども頻度20以上のものが配布されており，効率よくデータサイズを減らすためには頻度でカットオフする方式がよく使われていると思う（語彙だけだとかなり制限しないとサイズが減らない）．しかしカットオフしすぎると性能はかなり落ち込むので，うまい方法はないものかと考えられたのがこの論文の手法である．N-gramのデータには頻度の高い
Entropy Pruningで枝刈りされるN-gramを見てみる - nokunoの日記
以前，N-gram言語モデルにおいて，SRILMに実装されているEntropy Pruningを使うと25%程度のサイズで同程度の性能が出せることを紹介した． 本当に必要なN-gramは2割しかない - nokunoの日記 それなら実際にどんなN-gramが削除されるのかを見てみたいと思うのは人情だ．SRILMで採用しているARPAフォーマットは条件付き確率の形になっていてやや見づらいので，同時確率の形に直して値が大きい順に並べてみることにした． parse_ngram.py #!/usr/bin/env python #encoding: utf-8 import sys from optparse import OptionParser if __name__ == '__main__': opt = OptionParser() opt.add_option("-n", dest="
大規模テキストにおけるN-gram統計 - Negative/Positive Thinking
はじめに 大規模なテキストデータでのN-gram統計を取る場合、特にNが大きい場合(N>=3)は、組み合わせの数が多くなり出てくるN-gramをすべてメモリに保持しながら個数をカウントするのが難しい。効率的な方法があるのを知ったのでちょっと試してみた。 大規模テキストにおけるN-gram統計の取り方 岩波講座ソフトウェア科学15「自然言語処理」 論文: http://ci.nii.ac.jp/naid/110002934647 手順 ngramを取りたい文章を1つの文として扱う この文をメモリに読み込み、各文字の先頭アドレスを保持する配列を作成 その先頭アドレスの場所の文字から文最後までの部分文字列を1つの単語とみる この単語を辞書順に並び替える(アドレス配列だけ) ソートした単語の順番で、次の単語と「先頭から共通している文字数」を保持する配列を作成 Ngramをカウントするときは、単語の
超大規模テキストにおけるN-gram統計 - Negative/Positive Thinking
はじめに 超大規模なテキストデータでのN-gram統計を取る場合、そもそもデータがメモリにのらなくてSuffixArrayを使ったカウントも無理だったりする。近似値でよい場合、効率的な方法があると知ったのでちょっとメモ＆試してみた。 与えられるデータ 大量のデータがストリーム形式で与えられるとする 高速にどんどん与えられる 例えば、データパケット監視やtwitterなど カウントしたいデータの種類が膨大 種類をメモリに保持するのが無理 ストリームデータにおける頻度カウント法 正確なカウントは難しいが、近似的に頻度カウントを行うことができる Sticky Sampling Algorithmは解釈が間違っているかもしれない Sticky Sampling Algorithm カウントする要素をサンプリングで選ぶ方法 保持するのは以下の2つのペアの集合 e : 要素(例えばN-gram) f
N-gramってなんだ
ぴいこは研究で、類似度を求める機能をシステムに組み込んでいます。そこで、どうしたら人間の思う「似ている」に機械が近づけるかな？と思って試行錯誤しているのですが、似ているといえばコサイン類似度以外にもN-gram（えぬぐらむ）というやり方があるということにたどり着きました。 今回は、こちらのページを大いに参考にしています！研究のソースでも、ベースにこちらのプログラムを利用させてもらって、カスタマイズして組み込んでいます。やりたいことから技術を得るのにわかりやすいページでした NEO INSPIRATION – Ngramを利用したページ類似度チェッカー＋Ngram計算のphpクラス N-gramのNには、1（ユニグラム）とか2（バイグラム）とか3（トリグラム）とか、Nは好きな数字にできますが、一般的には1～3が有効です。私のシステムには2-gramを取り入れています。今回はそのN-gramに
Juliusで認識文法とN-gramを併用する - あしたからがんばる ―椀屋本舗
こんばんは、お久しぶりです。 今回は他研究室の卒論生のお手伝いということで、Juliusにおいて認識文法とN-gramによる認識を併用する、という方法を扱うことになったので、ここにまとめておきます。 まず、Juliusとは京大河原研で開発されたフリーウェアの大語彙連続音声認識用デコーダです。音声認識技術は音響モデル、言語モデル、そしてデコーダから構成されるのが一般的ですが、Juliusはデコーダに加えてデフォルトで音響モデルと言語モデルが付属しており、高い汎用性を備えています。 音声認識にはおおまかに分けて、孤立単語認識、認識文法による認識、大語彙連続音声認識の３種類があります。 孤立単語認識とは、個々の単語を対象として認識を行うものです。最近ではGoogle音声認識などが一番イメージに近いと思います。ちなみに、Google音声認識はかなり広範な語彙を扱う上にディクテーションに近いような認
RubyでN-gramを計算するメソッド - 働かないプログラマのメモ帳
RubyでN-gramを計算するメソッドを作ったよーって言うメモです。 class String def ngram n characters = self.split(//u) return [self] if characters.size <= n return 0.upto(characters.size-n).collect do |i| characters[i, n].join end end end p "おぎやはぎですけど何か問題でも？".ngram(2) # => ["おぎ", "ぎや", "やは", "はぎ", "ぎで", "です", "すけ", "けど", "ど何", "何か", "か問", "問題", "題で", "でも", "も？"] ideoneで動かした結果 ※ 2012-02-11 12:14 追記 ちょっと改良しました - characters[i..(
N-gram かな漢字・漢字かな変換(C++版) - アスペ日記
作った。 リポジトリはこちら。 https://github.com/hiroshi-manabe/ngram-converter-cpp 以前、N-gram 漢字-かな変換という記事で、N-gram を使ったかな漢字・漢字かな変換を公開した。 内部で使用しているアルゴリズムについては、可変次数 N-gram デコードのアルゴリズムの記事や、N-gram かな漢字変換 （スライド）で紹介した通り。 精度は、http://d.hatena.ne.jp/nokuno/20111103/1320317225で検証していただいた通り、それなりに出ていたと思うが、いかんせん速度が遅いのが問題だった。ちょっと長い文章を変換すると数秒間も時間がかかってしまう。これでは実用にならない。 それで、仕事を辞めて時間があるので、それを C++ で書き直してみた。N-gram の保存には、Faster and S
MacでSRILMを利用してGoogle N-gramから言語モデルを作成する - Goto_youthKの徒然日記
N-gram言語モデルを学習するツールとして有名なSRILMをMacにインストールして、さらにGoogle N-gramを使って言語モデルを作成してみました。 ■SRILMについて SRILM(The SRI Language Modeling Toolkit)は、統計的言語モデルの学習ツールとして主に音声認識、タグ付け、セグメンテーション、機械翻訳などの分野で利用され、1995年にSRI International's STAR Laboratoryで開発されました。 SRILMは以下のような構成要素からなっています。 多くの機能をサポートした言語モデルを実装したC++クラスライブラリ これらのライブラリと依存関係のある実行プログラム 雑多のタスクを容易にするスクリプトファイル また、動作環境としてWindows, UNIX, MacOSXなどのプラットフォームで動作し、多くの統計モデル
N-gramで文字列の類似度を測る
とある2つの文字列がどれぐらい似ているのかを比較するにはどうすればいいのかを調べる必要があったので、ネットで検索してみました。 perlにはString::Trigramというモジュールがあるようです。 String::Trigram でテキストの類似度を測る rubyで同じようなものが見つからなかったので、取り急ぎ作って見ました。 #!/usr/bin/ruby #類似度の比較 class String def ngram(string, part_len = 3) string = string.dup.gsub(/[\s\n ]+/u, "") strlen = string.split(//u).length points = [] source = self.gsub(/[\s\n ]+/u, "") srcarr = source.split(//u) sourcelen =
n-gram - Wikipedia
Six n-grams frequently found in titles of publications about Coronavirus disease 2019 (COVID-19), as of 7 May 2020 An n-gram is a sequence of n adjacent symbols in particular order. The symbols may be n adjacent letters (including punctuation marks and blanks), syllables, or rarely whole words found in a language dataset; or adjacent phonemes extracted from a speech-recording dataset, or adjacent
Google Ngram Viewer
The Google Books Ngram Viewer is optimized for quick inquiries into the usage of small sets of phrases. If you're interested in performing a large scale analysis on the underlying data, you might prefer to download a portion of the corpora yourself. Or all of it, if you have the bandwidth and space. We're happy to oblige. These datasets were generated in July 2012 (Version 2) and July 2009 (Versio
Google Books Ngram Viewer
<iframe name="ngram_chart" src="" width=900 height=500 marginwidth=0 marginheight=0 hspace=0 vspace=0 frameborder=0 scrolling=no></iframe> Part-of-speech tags cook_VERB, _DET_ President Wildcards King of *, best *_NOUN Inflections shook_INF drive_VERB_INF Arithmetic compositions (color /(color + colour)) Corpus selection I want:eng_2019
API Reference (Bing, Version 2)
Products Popular View all products (200+) Azure Virtual Machines Azure Virtual Desktop Azure SQL Microsoft Copilot in Azure PREVIEW Azure AI Services Azure AI Studio Azure Cosmos DB Azure Kubernetes Service (AKS) Azure Arc Azure Migrate AI + machine learning Azure Machine Learning Azure AI Services Microsoft Copilot in Azure PREVIEW Azure OpenAI Service Azure AI Studio Azure AI Vision Azure AI Se
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://blogs.oracle.com/mysql/post/innodb-%E5%85%A8%E6%96%87%E6%A4%9C%E7%B4%A2-n-gram-parser/