形態素解析器Sudachiの「辞書」はどのように作られているか: 複数の分割単位を例として
これは、Sudachi開発元であるワークス徳島NLPの末席に連なっていた筆者による、個人的な覚え書きです。組織を代表した情報や意見ではなく、誤り等は全て著者個人の責任です。 筆者自身は辞書の開発には関わっていませんが、ほとんど知られていない、専門家達の仕事と悩みへ触れる機会になればと思い、執筆しました。 形態素解析器Sudachi Sudachiは、株式会社ワークスアプリケーションズの徳島人工知能NLP研究所が開発する形態素解析器です。形態素解析は、人間の言葉を機械で扱う自然言語処理において、多くの場合に基盤となる技術で、主には、テキストを分割する「Segmentation」、語形を辞書形にする「Stemming」、動詞や名詞といった品詞を付与する「Part-of-Speech Tagging」を行うものです。 世の中には多くの形態素解析器がありますが、その中でもSudachiの特色として
The EDICT Dictionary File
The EDICT Dictionary File Welcome to the Home Page of the EDICT file within the JMdict/EDICT Project. This page has been written by Jim Breen (hereafter "I" or "me") and is intended as an overview of the file, with links to more detail elsewhere. Background Way back in 1991 I began to experiment with handling Japanese text in computer files, and decided to try writing a dictionary search program i
Macの「辞書.app」にデフォルトで入っていない辞書を追加する方法 – デジタル文具手帳 2!
Macの「辞書.app」にデフォルトで入っていない辞書を追加する方法 by amya · 5月 1, 2017 mac OS Xの「辞書.app (Dictionary.app)」はとても便利です。OSのバージョンによって使用方法や初期に用意されている辞書の種類などがじゃっかん異なりますが、control＋spaceバーで入力した文字を辞書検索したり、選択中の文字列を右クリックで辞書検索し内容を表示できます。 この図だと３つの辞書で該当したようですが、詳しく見たい辞書の結果をクリックすればさらに詳細を確認できます。 ちなみにControl + Command + Dでもポップアップします。 表示する辞書は「環境設定」で選択することでより使いやすい環境にできます。 で、ここまでは基本的なお話ですが、この辞書はオンラインなどで対応フォーマットの辞書を手に入れることで追加可能です。日本語の記事が
mecab-NEologdを使うと語彙はどのくらい増えるのか - studylog/北の雲
mecab-ipadic-neologdを使って形態素解析すると語彙が増えすぎてしまうんじゃないかという心配があったので調べてみた。 (追記訂正：最初のデータは間違っていました。ごっそり消してwikipediaの詳細データだけ掲載します。すみません。) コーパスのテキスト量と増加率の関係を見たかったのでwikipediaの日本語版を項目数(記事数)で483分割して処理。コーパスNo.がおおよそのコーパステキスト量に該当します。コーパスNo.10はNo.1のおおよそ10倍のテキスト量。ただあくまで「項目数」での分割なので正確なデータでは無いです。 コーパスNo デフォルト NEolodg 増加率(%) 1 46258 58556 26.6 2 68258 88678 29.9 3 84709 111791 32.0 4 99337 132455 33.3 5 113074 152992 35
ANDit
別称辞書自動生成ツール ANDit（Alternative-Names Dictionary tool） 概要 Web上、特にソーシャルネットワークサービスでは、文字数削減などの理由から正式名称以外の別名によって評判情報が記述されることが多くあります。本ツールでは、Wikipediaダンプデータを使用することで、正式名称に対する「略称」「愛称」「別名」にあたる別称の辞書を自動作成します。 本ツールによって作成された別称辞書は、Wikipediaのダンプデータを利用しているため、日々増え続ける固有名詞に対応可能であり、語句の追加も新しいダンプデータを用意するだけと容易です。また、比較的ストリクトなルールによってWikipediaから別称を抽出しているため、高い適合率（約90%）を示しています。 本ツールでは、例えば以下のような正式名称と別称が対応付いた辞書を自動生成可能です。 魔法少女まどか
New community features for Google Chat and an update on Currents
Join the official community for Google Workspace administrators In the Google Cloud Community, connect with Googlers and other Google Workspace admins like yourself. Participate in product discussions, check out the Community Articles, and learn tips and tricks that will make your work and life easier. Be the first to know what's happening with Google Workspace. ______________ Learn about more Goo
PDIC/Unicode Release
NEWRelease Page ■概要 Unicodeに対応したPDIC(Personal Dictionary)です。 PDICは英和辞書などの検索、辞書作成を行うためのソフトウェアです。 ※辞書は別途用意する必要があります。PDICをインストール・起動後の説明をご覧ください。 従来の非Unicode版PDIC(PDIC for Win32)に比べて、様々な点で改善されています。 ■Download 【最新版】PDIC/Unicode Ver.5.4.7 2010/1/6 【旧安定版】今後リクエストのあった問題の修正しか行われません PDIC/Unicode Ver.5.3.13 2009/12/29 PDIC/Unicode Ver.5.0.39 2009/3/26 Windows XP/Vista/7に対応しています。 PDIC for Win32、PDIC/Unicode
言語情報処理 用語集
[索引] [あ行] [か行] [さ行] [た行] [な行] [は行] [ま行] [や行] [ら行] [わ行] あ行 アーリーアルゴリズム (Earley algorithm) 文脈自由文法に基づく構文解析アルゴリズム．ある非終端記号の直後に現われ得る終端記号を事前に予測することによって解析効率を改善している点が特徴． IIS (Improved Iterative Scaling algorithm) 最大エントロピー法のパラメタを学習するアルゴリズム． 曖昧性 (ambiguity) 自然言語処理では，複数の解析結果が得られることを曖昧性があるという．例えば複数の語義がある場合は語義(選択)に曖昧性があるといい，かかり受け解析において複数の可能性がある場合は，かかり受けに曖昧性があるという．曖昧性は様々な処理レベルで存在し，曖昧性解消(ambiguity resolution, disa
WordNet - Wikipedia
この記事には参考文献や外部リンクの一覧が含まれていますが、脚注によって参照されておらず、情報源が不明瞭です。脚注を導入して、記事の信頼性向上にご協力ください。（2022年12月） WordNet（ワードネット）は、英語の概念辞書（意味辞書）である。WordNet では英単語が synset と呼ばれる同義語のグループに分類され、簡単な定義や、他の同義語のグループとの関係が記述されている。 WordNet の目的は直感的に使うことのできる辞書とシソーラスが組み合わされた成果物を作ること、および自動的文書解析や人工知能のアプリケーションの実現を支援することにある。WordNet のデータベースやソフトウェアはBSDライセンスによって公開され、自由にダウンロードして用いることができる。データベースはオンラインで参照することもできる。 WordNet はプリンストン大学の認知科学研究所によって心理
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
[Python]Mecabのipadic辞書が超簡単に使えるようになっていた![[Python]Mecabのipadic辞書が超簡単に使えるようになっていた](https://cdn-ak-scissors.b.st-hatena.com/image/square/5b8f314b89181995b93e6d4628b8ed2576333b73/height=288;version=1;width=512/https%3A%2F%2Fres.cloudinary.com%2Fzenn%2Fimage%2Fupload%2Fs--Ro8WAE60--%2Fc_fit%252Cg_north_west%252Cl_text%3Anotosansjp-medium.otf_55%3A%25255BPython%25255DMecab%2525E3%252581%2525AEipadic%2525E8%2525BE%25259E%2525E6%25259B%2525B8%2525E3%252581%25258C%2525E8%2525B6%252585%2525E7%2525B0%2525A1%2525E5%25258D%252598%2525E3%252581%2525AB%2525E4%2525BD%2525BF%2525E3%252581%252588%2525E3%252582%25258B%2525E3%252582%252588%2525E3%252581%252586%2525E3%252581%2525AB%2525E3%252581%2525AA%2525E3%252581%2525A3%2525E3%252581%2525A6%2525E3%252581%252584%2525E3%252581%25259F%252Cw_1010%252Cx_90%252Cy_100%2Fg_south_west%252Cl_text%3Anotosansjp-medium.otf_37%3Ayasude%252Cx_203%252Cy_121%2Fg_south_west%252Ch_90%252Cl_fetch%3AaHR0cHM6Ly9saDMuZ29vZ2xldXNlcmNvbnRlbnQuY29tL2EtL0FPaDE0R2duNW9EMzZPS2I1YVM3Q25KVXRWX0gwMHd5dFpFMU9CdVFpSEdrdGc9czI1MC1j%252Cr_max%252Cw_90%252Cx_87%252Cy_95%2Fv1627283836%2Fdefault%2Fog-base-w1200-v2.png)
The JMDict Project
UniDic - 言語データベースとソフトウェア
http://www2.nict.go.jp/out-promotion/techtransfer/EDR/J_index.html
jishobot.com | traceroute command
Latin Phrase Translation - Latin Online Translation
The Russian Dictionary Tree
Language Geek is under construction