形態素解析器Sudachiの「辞書」はどのように作られているか: 複数の分割単位を例として
これは、Sudachi開発元であるワークス徳島NLPの末席に連なっていた筆者による、個人的な覚え書きです。組織を代表した情報や意見ではなく、誤り等は全て著者個人の責任です。 筆者自身は辞書の開発には関わっていませんが、ほとんど知られていない、専門家達の仕事と悩みへ触れる機会になればと思い、執筆しました。 形態素解析器Sudachi Sudachiは、株式会社ワークスアプリケーションズの徳島人工知能NLP研究所が開発する形態素解析器です。形態素解析は、人間の言葉を機械で扱う自然言語処理において、多くの場合に基盤となる技術で、主には、テキストを分割する「Segmentation」、語形を辞書形にする「Stemming」、動詞や名詞といった品詞を付与する「Part-of-Speech Tagging」を行うものです。 世の中には多くの形態素解析器がありますが、その中でもSudachiの特色として
The EDICT Dictionary File
The EDICT Dictionary File Welcome to the Home Page of the EDICT file within the JMdict/EDICT Project. This page has been written by Jim Breen (hereafter "I" or "me") and is intended as an overview of the file, with links to more detail elsewhere. Background Way back in 1991 I began to experiment with handling Japanese text in computer files, and decided to try writing a dictionary search program i
ANDit
別称辞書自動生成ツール ANDit（Alternative-Names Dictionary tool） 概要 Web上、特にソーシャルネットワークサービスでは、文字数削減などの理由から正式名称以外の別名によって評判情報が記述されることが多くあります。本ツールでは、Wikipediaダンプデータを使用することで、正式名称に対する「略称」「愛称」「別名」にあたる別称の辞書を自動作成します。 本ツールによって作成された別称辞書は、Wikipediaのダンプデータを利用しているため、日々増え続ける固有名詞に対応可能であり、語句の追加も新しいダンプデータを用意するだけと容易です。また、比較的ストリクトなルールによってWikipediaから別称を抽出しているため、高い適合率（約90%）を示しています。 本ツールでは、例えば以下のような正式名称と別称が対応付いた辞書を自動生成可能です。 魔法少女まどか
New community features for Google Chat and an update on Currents
Join the official community for Google Workspace administrators In the Google Cloud Community, connect with Googlers and other Google Workspace admins like yourself. Participate in product discussions, check out the Community Articles, and learn tips and tricks that will make your work and life easier. Be the first to know what's happening with Google Workspace. ______________ Learn about more Goo
言語情報処理 用語集
[索引] [あ行] [か行] [さ行] [た行] [な行] [は行] [ま行] [や行] [ら行] [わ行] あ行 アーリーアルゴリズム (Earley algorithm) 文脈自由文法に基づく構文解析アルゴリズム．ある非終端記号の直後に現われ得る終端記号を事前に予測することによって解析効率を改善している点が特徴． IIS (Improved Iterative Scaling algorithm) 最大エントロピー法のパラメタを学習するアルゴリズム． 曖昧性 (ambiguity) 自然言語処理では，複数の解析結果が得られることを曖昧性があるという．例えば複数の語義がある場合は語義(選択)に曖昧性があるといい，かかり受け解析において複数の可能性がある場合は，かかり受けに曖昧性があるという．曖昧性は様々な処理レベルで存在し，曖昧性解消(ambiguity resolution, disa
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
The JMDict Project
http://www2.nict.go.jp/out-promotion/techtransfer/EDR/J_index.html
