MeCab互換な形態素解析器Vibratoの高速化技法 - LegalOn Technologies Engineering Blog
こんにちは。LegalForce Researchで研究員をしている神田 (@kampersanda) です。 LegalForce Researchでは、MeCab互換の形態素解析器Vibrato（ヴィブラ〰ト）を開発しています。プログラミング言語Rustで実装しており、高速に動作することが主な利点です。Vibratoはオープンソースソフトウェアとして以下のレポジトリで公開しています。 github.com 本記事では、Vibratoの技術仕様を解説します。以下のような方を読者として想定します。 自然言語処理の要素技術に興味のある方 データ構造・アルゴリズムに興味のある方 Rustでの自然言語処理に興味がある方 Vibratoについて 最小コスト法による形態素解析 単語ラティスの構築 最小コスト経路の計算 高速化の取り組み 辞書引きのキャッシュ効率化 実装での注意点 連接コスト参照のキャ
ニコニコ大百科IME辞書とMeCabと棒読みちゃん
※このエントリに出て来る「IME」は大体MS-IMEを指しています。 「ニコニコ大百科IME辞書」という、ニコニコ大百科に登録されている単語が IMEで変換できるようになる素晴らしい辞書がある。 一方、棒読みちゃんはIMEを使って漢字→かな変換をしているので この辞書をIMEに登録すると自然と棒読みちゃんも賢くなる。 ぜひ棒読みちゃんを賢くしたいけど、 IMEにニコニコ大百科の言葉を登録すると変換誤爆が怖いです＞＜；という場合、 棒読みちゃんの漢字→かな変換処理にMecabを使用すると住み分けが出来る。 ・Mecabって何さ 日本語の文を以下のような感じで解析するツール。 ------------------------------------------- C: >mecab 私の名前は山田太郎です。 私 名詞,代名詞,一般,*,*,*,私,ワタシ,ワタシ の 助詞,
句読点の無い文章に句読点を挿入する（BERTによる予測） - Qiita
はじめに 句読点の無い文章というものになかなか巡り合うことがありませんが、今日は次の文章に句読点を付けて読みやすくしてみようと思います。 句読点ありバージョンを書きました句読点があることで僕は逆に読みづらく感じるので句読点無しで書きたいと思います句読点が無いことをすごくせめてくる人がいるのですがどうしてそんなに攻めるのですかなにか悪いことをしましたか犯罪でもしたのでしょうかおかしいのはあなたですよ句読点があるないは関係ありません句読点ありバージョンを書いたので是非それを読んでください句読点がある場合は今度はなにをネタに僕をせめてくるのでしょうかいくらでも他人のあらをみつけることは簡単です他人のあらをみつけるのは楽しいですか他人のあらをみつけるのはそんなに楽しいですか他にも楽しいことをみつけてくださいあなたにもきっと素晴らしいところがあるはずです他人のあらをみつけるよりも自分の素晴らしいとこ
子子子子子子子子子子子子 - Wikipedia
この項目では、日本の言葉遊びについて説明しています。日本のライトノベル作家については「子子子子子子子」をご覧ください。 子子子子子子子子子子子子（ねこここねこ ししここじし）は、日本の言葉遊びである。「猫の子仔猫、獅子の子仔獅子」と読む。この問題を考案したのは嵯峨天皇、解いたのは小野篁であると伝えられている[1]。 嵯峨天皇の時代、内裏に「無悪善」と書いた立て札が立てられた。天皇が篁に読み方を尋ねたところ「さが（悪）なくてよからん（嵯峨天皇がいなければよいのに）」と読んだため、読めたのは篁が書いたために違いないとして怒った天皇は、自分は何でも読めるのだと弁明する篁に「子」の字を12個連ねたものを差し出し「ならば、これが読めるか」と問うたところ、「ねこここねこ、ししここじし」とたちどころに読んだため（合計12文字）、天皇の怒りが解けたという[2]。 「子」という漢字には、「ね」（訓読み、十二
N-gramで文章の類似度を調べる - Pythonでいろいろやってみる
文章の類似度を調べる方法の一つ、N-gramを用いて2つの文章の類似度を調べます。N-gramは「隣り合う連続したN文字」の意味で、2文字なら2-gram、3文字なら3-gramとなります。 例えば2-gramは次のように作成します。 【元の文章】群馬県でマイクロバスが崖下に ↓ 【2-gram化】'群馬' '馬県' '県で' 'でマ' 'マイ' 'イク' 'クロ' 'ロバ' 'バス' 'スが' 'が崖' '崖下' '下に' ある文章のN-gramを作成し、別の文章のN-gramに何回出現するかカウントすることで類似度を算出します。 同じニュースに関する記事の類似度、無関係なニュースについての記事の類似度を2-gramで調べます。 環境 windows10 home Anaconda 3/ jupyter notebook 5.6.0 Python 3.7.0 準備 以下の3つのニュース本
形態素解析・Ngramとbag-of-words - Qiita
引き続き、機械学習やその他色々について得た知識を 復習and記事作成の練習and個人の備忘録としてまとめていきますよん！ 今回も前回と同様、自然言語処理の分野です！ タイトルの内容について、ざっくりといろいろ書いていきます！ ⚠︎※※注意※※⚠︎ ・出来るだけ専門知識のあまりない人に対して、分かりやすく書くことを目標にしています。 そのため、厳密に言うと間違っている部分があると思いますがご容赦ください。 ・また、ネットで調べたレベルの知識がほとんどなので、 "厳密に言うと"レベルではなく間違っている箇所があるかもしれません。。 その場合は非常に申し訳ないです。指摘していただけると幸いです！ 参考 自然言語処理の仕組みと手順 日本語形態素解析の裏側を覗く！MeCabはどのように形態素解析しているか 前回までの記事 ・機械学習について ・教師あり学習 〜回帰〜 ・教師あり学習 〜分類〜 ・Ra
n-gram - Wikipedia
Six n-grams frequently found in titles of publications about Coronavirus disease 2019 (COVID-19), as of 7 May 2020 An n-gram is a sequence of n adjacent symbols in particular order. The symbols may be n adjacent letters (including punctuation marks and blanks), syllables, or rarely whole words found in a language dataset; or adjacent phonemes extracted from a speech-recording dataset, or adjacent
第5回 N-gramのしくみ | gihyo.jp
前回は形態素解析を使う検索エンジンのしくみについて説明しました。今回は、FINDSPOTで使用しているN-gramという検索エンジンのしくみについて説明します。 N-gramによる見出し語の切り出し 前回は、形態素解析による検索エンジンでは、検索可能な最小単位が分かち書きの切り分け単位となる点を説明しました。 一方、N-gramを使った検索エンジンでは、単純に文字の並びを見出し語としてインデックスを作成します。1文字を元にインデックスを作成する方法をユニグラム、2文字の並びを元にインデックスを作成する方法をバイグラム、3文字の並びを元にインデックスを作成する方法をトリグラムと呼んでいます。 1文字：ユニグラム 2文字：バイグラム 3文字：トリグラム N-gramによる見出し語の切り出しは、形態素解析のための文法解析を伴わないため、特定の自然言語に依存しないという特徴があります。 FINDS
13億パラメーターを持つGPT言語モデルをrinnaが公開、日本語に特化
GPTは、人間が使う会話や文章に出てくる単語の確率の組み合わせから次の単語の確率を計算する言語モデルだ。 例えば、「確率（吾輩は猫である）＝確率（吾輩）×確率（は|吾輩）×確率（猫|吾輩,は）×確率（で|吾輩,は,猫）×確率（ある|吾輩,は,猫,で）」のような方法で計算する。この性質を用いて、「吾輩は」という単語を入力したとき、次の単語として確率が高い「猫」を予測できる。 性能は14パープレキシティー 関連記事 2021年の「AI／機械学習」はこうなる！ 5大予測 2020年は、自然言語処理（NLP）のTransformer技術に基づくBERT／GPT-3や、画像生成のディープフェイクが大注目となる一方で、倫理に関する問題がさまざまな方面でくすぶり続けた。2021年の「AI／機械学習」界わいはどう変わっていくのか？ 幾つかの情報源を参考に、5個の予測を行う。 Microsoft、自然言語処
構文解析 - Wikipedia
構文解析（こうぶんかいせき、英語: parsing, syntactic analysis, syntactic analysis）は、ある言語において、その形式文法に従って記号の文字列を分析する手続きである。構文解析を行う機構を構文解析器（parser）と呼ぶ。 文章（具体的にはマークアップなどの注記の入っていないベタの文字列）を対象として、 自然言語であれば、形態素に切分け、さらにその間の関連（修飾-被修飾など）といったような、統語論的関係を図式化するなどして明確化・解析する手続きである。 プログラミング言語など形式言語の場合は、形式文法に従い構文木を得る手続きである。 プログラミング言語の場合は一般にその性質から、文字列（ソースコード）から字句（トークン）の列を取り出す前処理段階である字句解析（lexical analysis）と、そのトークン列を受け取り構文木を作るなどする後処理段
形態素解析 - Wikipedia
形態素解析（けいたいそかいせき、Morphological Analysis）とは、文法的な情報の注記の無い自然言語のテキストデータ（文）から、対象言語の文法や、辞書と呼ばれる単語の品詞等の情報にもとづき、形態素（Morpheme, おおまかにいえば、言語で意味を持つ最小単位）の列に分割し、それぞれの形態素の品詞等を判別する作業である。 自然言語処理の分野における主要なテーマのひとつであり、機械翻訳やかな漢字変換など応用も多い（もちろん、かな漢字変換の場合は入力が通常の文と異なり全てひらがなであり、その先に続く文章もその時点では存在しないなどの理由で、内容は機械翻訳の場合とは異なったものになる）。 もっぱら言語学的な観点を主として言語学で研究されている文法にもとづく解析もあれば、コンピュータ上の自然言語処理としてコンピュータでの扱いやすさに主眼を置いた解析もある。以下は後者のためのツールを
専門用語（キーワード）自動抽出Pythonモジュールtermextract
１．概要 termextractはテキストデータから専門用語を取り出すためのPython3モジュールです。 特徴は以下のとおりです。 複合語からなる専門用語を抽出します。用語は重要度でランキングします（重要度の低い用語も抽出しますが、ノイズとなる可能性が高くなります）。 和文・英文・中文のテキストデータ（平文）を入力にできます。和布蕪との組み合わせのみ和布蕪により解析済みの和文テキストを入力にします。 そのままコマンドラインから使えるサンプルスクリプトを用意しています。 提供する機能に自作コードを組み合わせた拡張・応用が可能です。 Linux/Windows環境のいずれでも使えます。 ２．インストール pytermextractをダウンロード pytermextractを解凍し以下のコマンドを実行します。 pip install . 高精度の用語抽出を行うためには、日本語形態素解析器やPO
【自然言語処理】科研費データベースからMeCab-ipadic-neologdとtermextractでキーワードを抽出する - Qiita
【自然言語処理】科研費データベースからMeCab-ipadic-neologdとtermextractでキーワードを抽出するPythonmecab自然言語処理 科研費申請書を書いている研究者のみなさま、お疲れ様です。 ご存知の通り、過去に採択された研究は科研費データベースに載っています。が、全部見るのはなかなか大変です。 過去の傾向をざっくり把握してみよう！ ということで、今回は科研費データベースの研究の概要から自然言語処理でキーワードを抽出してみました。形態素解析パッケージMeCabと専門用語抽出ツールのtermextractを使っています。 環境構築 PythonとJupyter Notebookを使います。 OSなど MacOS Mojave 10.14.5 Anaconda 2020.02 Python 3.7.6 Jupyter Notebook 6.0.3
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://www.anlp.jp/proceedings/annual_meeting/2010/pdf_dir/D3-7.pdf
大学教授が「レポートのコピペは必ずバレる」とツイート→そのバレるまでの方法が本職で怖すぎる
イラストで学ぶ 音声認識
マルコフ情報源
【python】pythonでn-gramの特徴量を作る - 静かなる名辞
N-gramについて書いてみる - どん底から這い上がるまでの記録
TermExtractで手軽にキーワード抽出 for Python - Qiita
