Elasticsearchのための新しい形態素解析器 「Sudachi」 - Qiita
tl;dr （要約） Kuromojiに代わる新しい形態素解析器「Sudachi」 なにが良いの？ 最新の辞書 企業（ワークスアプリケーションズ）による継続的な更新 複数の分割単位 → 検索用途での再現率と適合率の向上 プラグインによる拡張 省メモリ Elasticsearchで使いたい プラグイン: WorksApplications/elasticsearch-sudachi 使い方は当記事の後半をご覧ください 注: この記事の執筆者はSudachiの開発に関わっています さまざまな形態素解析器 形態素解析は、伝統的な自然言語処理（Natural Language Processing, NLP）において基盤となる技術です。そして世の中にはさまざまな形態素解析器が存在します。販売されているものもありますが、一般に公開されているものだけでもいくつか例をあげると、JUMANとRNNLMを利
Word2Vec のニューラルネットワーク学習過程を理解する · けんごのお屋敷
Word2Vec というと、文字通り単語をベクトルとして表現することで単語の意味をとらえることができる手法として有名なものですが、最近だと Word2Vec を協調フィルタリングに応用する研究 (Item2Vec と呼ばれる) などもあるようで、この Word2Vec というツールは自然言語処理の分野の壁を超えて活躍しています。 実は Item2Vec を実装してみたくて Word2Vec の仕組みを理解しようとしていたのですが、Word2Vec の内部の詳細に踏み込んで解説した日本語記事を見かけることがなかったので、今更感はありますが自分の知識の整理のためにもブログに残しておきます。なお、この記事は Word2Vec のソースコードといくつかのペーパーを読んで自力で理解した内容になります。間違いが含まれている可能性もありますのでご了承ください。もし間違いを見つけた場合は指摘してもらえると
自然言語処理における前処理の種類とその威力 - Qiita
自然言語処理に前処理は不可欠です。テキストは文字の羅列であり構造化されていないため、そのままでは処理するのが難しいです。特にWebテキストの中には HTMLタグ や JavaScript のコードといったノイズが含まれています。このようなノイズは前処理して取り除かなければ期待する結果は得られないでしょう。 出典: Deep learning for computational biology 本記事では自然言語処理における前処理の種類とその威力について説明します。説明順序としては、はじめに前処理の種類を説明します。各前処理については、1.どんな処理なのか、2.なぜその処理をするのか、3.実装方法(なるべく) という観点から説明します。種類について説明した後、前処理の威力を測るために前処理をした場合としなかった場合での文書分類の結果を比較します。 前処理の種類と実装 この節では以下に示す5つ
簡潔データ構造 LOUDS の解説（全12回、練習問題付き）
「日本語入力を支える技術」（通称「徳永本」）や「高速文字列解析の世界」（通称「岡野原本」）で紹介されている LOUDS というデータ構造を、12回に分けて解説しました。 友達に教える時に使ったもので、練習問題付きです。 実際に紙に書いてやってみるとわかりやすいと思います。 詳解 LOUDS (1) LOUDS とは 詳解 LOUDS (2) ビット列を作ってみる 詳解 LOUDS (3) 0番ノード 詳解 LOUDS (4) ビットの意味 詳解 LOUDS (5) 木構造の復元 詳解 LOUDS (6) インデックスでノードを表す 詳解 LOUDS (7) ノード番号からインデックスを得る 詳解 LOUDS (8) インデックスからノード番号を得る 詳解 LOUDS (9) 子ノードから親ノード 詳解 LOUDS (10) 親ノードから子ノード 詳解 LOUDS (11) 木の検索 詳解
はてなグループの終了日を2020年1月31日(金)に決定しました - はてなの告知
はてなグループの終了日を2020年1月31日(金)に決定しました 以下のエントリの通り、今年末を目処にはてなグループを終了予定である旨をお知らせしておりました。 2019年末を目処に、はてなグループの提供を終了する予定です - はてなグループ日記 このたび、正式に終了日を決定いたしましたので、以下の通りご確認ください。 終了日: 2020年1月31日(金) エクスポート希望申請期限:2020年1月31日(金) 終了日以降は、はてなグループの閲覧および投稿は行えません。日記のエクスポートが必要な方は以下の記事にしたがって手続きをしてください。 はてなグループに投稿された日記データのエクスポートについて - はてなグループ日記 ご利用のみなさまにはご迷惑をおかけいたしますが、どうぞよろしくお願いいたします。 2020-06-25 追記 はてなグループ日記のエクスポートデータは2020年2月28
SimString - A fast and simple algorithm for approximate string matching/retrieval
A fast and simple algorithm for approximate string matching/retrieval SimString is a simple library for fast approximate string retrieval. Approximate string retrieval finds strings in a database whose similarity with a query string is no smaller than a threshold. Finding not only identical but similar strings, approximate string retrieval has various applications including spelling correction, fl
確率的情報検索 Okapi BM25 についてまとめた - sonickun.log
ひょんなことで情報検索の知識が必要になったので，勉強したことを簡単にまとめておきます． 情報検索とは，コンピュータを用いて大量のデータ群から目的に合致した物を取り出すことです． Okapi BM25は情報検索における文章中の単語の重み付けの手法の一つであり，他にもTF-IDFと言ったアルゴリズムがあります． Okapi BM25 - Wikipedia, the free encyclopedia 一般的にはTF-IDFよりも良い結果が得られると言われ，比較手法としてのベースラインになっています． Term Frequency (TF) 文書中において出現頻度の高い単語は重要であるという考え方です． ある単語Tiの文書Dj中における重みを考えると TF(i,j) = (文書Djにおける単語Tiの出現回数) / (文書Djのの総単語数) となります． Inverse Document Fre
GloVe: Global Vectors for Word Representation
GloVe: Global Vectors for Word Representation Jeffrey Pennington, Richard Socher, Christopher D. Manning GloVe is an unsupervised learning algorithm for obtaining vector representations for words. Training is performed on aggregated global word-word co-occurrence statistics from a corpus, and the resulting representations showcase interesting linear substructures of the word vector space. Down
Word2vecの並列実行時の学習速度の改善
情報処理学会 第217回自然言語処理研究会 http://www.nl-ipsj.or.jp/NL217program.htmlRead less
Damerau–Levenshtein Distanceを試す
今日この名前をどこかで聞いた気がするので、少し調べてみました。 http://en.wikipedia.org/wiki/Damerau%E2%80%93Levenshtein_distance 2つの文字列間の類似度を測る指標として編集距離という概念は有名でいくつかバリ...
日本テレビ東京で学ぶMeCabのコスト計算 | mwSoft
今回はこの言葉の解析をMeCab＋NAIST辞書にお願いして、結果を分析することで、MeCabが行っているコスト計算について勉強してみたいと思います。 とりあえず実行してみる さっそくMeCabに「日本テレビ東京」を解析してもらいましょう。 $ echo 日本テレビ東京 | mecab 日本 名詞,固有名詞,地域,国,*,*,日本,ニッポン,ニッポン,, テレビ東京 名詞,固有名詞,組織,*,*,*,テレビ東京,テレビトウキョウ,テレビトーキョー,, EOS 「日本 | テレビ東京」と分けていますね。視聴率的には負けていますが、NAIST辞書的には日本テレビよりもテレビ東京が優先されたようです。 ちなみに「フジテレビ東京」ではどうなるでしょうか。 $ echo フジテレビ東京 | mecab フジテレビ 名詞,固有名詞,組織,*,*,*,フジテレビ,フジテレビ,フジテレビ,, 東京 名詞,
MeCabのipadic辞書への単語追加(ドメイン適応) - 気ままなブログ
mecab-ipadicのCRF学習モデルが追加されたことにより、辞書に単語を追加しやすくなったようだ。 http://sourceforge.jp/projects/mecab/lists/archive/users/2012-June/000456.html 以前のMeCabの場合、単語追加をする場合は、追加したい単語と似ている単語のコスト値からなんとなく予測して追加する必要があって、結構やりにくかった。なので、どのぐらいやりやすくなったかを早速試してみた。 まず、自分のローカルにMeCabをインストールした。 また、ipadicのモデルファイルしかないようなので、ipadic辞書を入手する。 http://code.google.com/p/mecab/downloads/detail?name=mecab-0.994.tar.gz&can=2&q= http://code.goog
自然言語処理シリーズ 4 機械翻訳 | コロナ社
本書では，機械学習および統計的手法に基づいた統計的機械翻訳を中心に解説しながら，その構成要素である複雑な統計モデルに基づいた様々な要素技術について，「どのように実現しているのか」をその基礎的な知識まで詳細に説明した。 1. 機械翻訳 1.1 歴史 1.1.1 初期の機械翻訳 1.1.2 ALPACレポート 1.1.3 実用システム 1.1.4 データに基づく手法 1.2 知識に基づく機械翻訳 1.2.1 言語のずれと翻訳の難しさ 1.2.2 要素合成原理 1.2.3 翻訳のレベル 1.2.4 解析 1.2.5 変換 1.2.6 生成 1.2.7 その他の話題 1.3 用例に基づく機械翻訳 1.3.1 事例ベース推論としての機械翻訳 1.3.2 用例の検索と修正 1.3.3 複数用例の利用 1.3.4 組合せの手がかり 1.3.5 最適な用例の組合せ 1.3.6 複雑な組合せ 1.3.7 今
はてなグループの終了日を2020年1月31日(金)に決定しました - はてなの告知
はてなグループの終了日を2020年1月31日(金)に決定しました 以下のエントリの通り、今年末を目処にはてなグループを終了予定である旨をお知らせしておりました。 2019年末を目処に、はてなグループの提供を終了する予定です - はてなグループ日記 このたび、正式に終了日を決定いたしましたので、以下の通りご確認ください。 終了日: 2020年1月31日(金) エクスポート希望申請期限:2020年1月31日(金) 終了日以降は、はてなグループの閲覧および投稿は行えません。日記のエクスポートが必要な方は以下の記事にしたがって手続きをしてください。 はてなグループに投稿された日記データのエクスポートについて - はてなグループ日記 ご利用のみなさまにはご迷惑をおかけいたしますが、どうぞよろしくお願いいたします。 2020-06-25 追記 はてなグループ日記のエクスポートデータは2020年2月28
言語情報処理 用語集
[索引] [あ行] [か行] [さ行] [た行] [な行] [は行] [ま行] [や行] [ら行] [わ行] あ行 アーリーアルゴリズム (Earley algorithm) 文脈自由文法に基づく構文解析アルゴリズム．ある非終端記号の直後に現われ得る終端記号を事前に予測することによって解析効率を改善している点が特徴． IIS (Improved Iterative Scaling algorithm) 最大エントロピー法のパラメタを学習するアルゴリズム． 曖昧性 (ambiguity) 自然言語処理では，複数の解析結果が得られることを曖昧性があるという．例えば複数の語義がある場合は語義(選択)に曖昧性があるといい，かかり受け解析において複数の可能性がある場合は，かかり受けに曖昧性があるという．曖昧性は様々な処理レベルで存在し，曖昧性解消(ambiguity resolution, disa
LDAにおける変分ベイズ法によるパラメータ推定 (1) 正田 備也 平成 18 年 8 月 18 日 LDA (Latent Dirichlet Allocation) は、ひとつの文書が複数のトピックを含むことを表現できる確率的な文書モ デル��
LDAにおける変分ベイズ法によるパラメータ推定 (1) 正田 備也 平成 18 年 8 月 18 日 LDA (Latent Dirichlet Allocation) は、ひとつの文書が複数のトピックを含むことを表現できる確率的な文書モ デルのひとつである。 変分ベイズ法は、ある程度複雑な確率的文書モデル m において、それによって生成されたと見なされている文書 集合 D = {d1, . . . , } について、事後分布 P(D|m) を求めるのが非常に難しいときに使われる方法である。文書モデ ル m のパラメータ群を θ とし、隠れ変数群（文書モデルの場合、トピックを表す変数群であることが多い）を Z と すると、変分ベイズ法の基本は、次の Jensen の不等式にある。 log P(D|m) = log P(Z, D, θ|m)dθdZ (1) = log Q(Z, θ) P(
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
最近のDeep Learning (NLP) 界隈におけるAttention事情
GitHub - tmu-nlp/JapaneseWordSimilarityDataset: Japanese Word Similarity Dataset
自然言語処理に基づく商品情報の整理および構造化
自然言語処理と系列ラベリング技術 | CiNii Research