[O] mecab-ipadic-NEologd v0.0.2 をリリースした
mecab-ipadic-NEologd v0.0.2 をリリースした Tweet [日記] 今日、6/23の朝 [2015-06-23] に、mecab-ipadic-NEologd の v0.0.2 をリリースしました🎉。 https://github.com/neologd/mecab-ipadic-neologd/releases/tag/v0.0.2 前回の v0.0.1 からの大きな差分は以下の5点です。 - 3ヶ月分の新語 - Unicode 6.0以前の絵文字に読みと品詞情報を付与 - IPA辞書に未再録で区切り間違う or 読みを付与できない副詞 - unk.defを変更して記号を記号,一般に - IPA辞書の一部のエントリの読み仮名誤りを修正 3ヶ月分の新語 v0.0.1以降に新しく再録したエントリは、diff以下で記録しています。 https://github.co
MeCab システム辞書への単語追加（mecab-ipadic-neologd）
MeCab 辞書には、以前の記事でご紹介した「ユーザ辞書」と「システム辞書」の２種類があります。ユーザ辞書への単語の追加は、手軽な反面、解析速度が落ちるといったデメリットもあります。そこで今回は、MeCab の「システム辞書」に単語を追加する方法をご紹介します。また、最近話題の新語辞書 mecab-ipadic-neologd もシステム辞書に追加してみました。 作業の流れ MeCab のシステム辞書は１つのみ、というルールがあるため、IPA辞書のソースディレクトリに、追加したい単語のCSVファイルを配置して、システム辞書を作成します。また、追加する単語のコストは、mecab-ipadicのモデルファイル使った自動推定機能を使います。 下準備 MeCab と IPA辞書をインストールしておきます。 nkf コマンドのインストール IPA辞書の文字コードを、UTF-8 に変換するため、nkf
あらゆる単語や文字列を正しく認識するための技術とデータについて - YAPC::Asia Tokyo 2014
How to build the neologism dictionary for Japanese natural language processing 月に数回更新している OSS な MeCab の新語・固有表現辞書の詳細、使用例について言及します。また、日本語自然言語処理の発展(例 : SF 映画の様にロボットの発するジョークで人間が豊かな気持ちになる未来)のために必要なデータの内容や形式、希望する公開方法についてお話します。 長い本文 単語や文字列を正しく読める・認識できることは、ネットを介して人と人が円滑に交流するために必須です。 それをコンピュータができる様にすることは、人間の言葉を電子テキスト化した情報を活用して便利な世の中を実現するためにも大切です。 例えば、検索エンジンの様々な機能や、ニュースアプリケーションのニュース記事の自動カテゴリ分類などは、コンピュータが単語や
[O] UniDic に固有表現やUnicode 絵文字などを足す mecab-unidic-NEologd を公開しました
UniDic に固有表現やUnicode 絵文字などを足す mecab-unidic-NEologd を公開しました Tweet [NLP] 今年3月中旬 [2015-03-13] に mecab-ipadic-NEologd をリリースして以来、mecab-ipadic-NEologd はとても順調に普及しています。 さて、今回は UniDic に新語や固有表現、Unicode 絵文字などを足すことができる mecab-unidic-NEologd を公開しました。 mecab-ipadic-NEologd を生成する手法を使っています。 https://github.com/neologd/mecab-unidic-neologd/blob/master/README.ja.md シードデータの性質上、構築されるシステム辞書には国語研短単位の条件を満たさないエントリも入りますので、あら
場所参照表現タグ付きコーパス Ver 0.1 (2015/05/25)
概要 本コーパスは，Twitterからランダムにサンプリングしたテキストに現れる，「特定の場所を著者が想定している」と判断できる表現に対して，実際にどのエンティティを指しているかを人手で判断しエンティティ情報を付与したコーパスです．GeoNLPなどのジオパーズシステム，エンティティリンキングシステム等の開発や評価に利用することを想定して構築されました． 本コーパスには以下のような特徴があります． 施設名へのアノテーション付与 : いわゆる「地名」（市区町村名など）だけではなく，「施設名」（駅名等）に対してもエンティティを付与しています． 一般名詞からなる表現にも付与 : 「特定の場所を著者が想定している」表現というと，すぐに思い浮かぶのは都道府県名・駅名などの固有名詞ですが，上図における「バス停」のように，一般名詞であっても，特定の場所を指し示す表現が存在するため，それらへもアノテーション
[O] MeCab 用の新語辞書 mecab-ipadic-neologd を公開しました
MeCab 用の新語辞書 mecab-ipadic-neologd を公開しました Tweet [NLP] 日本語の文書を機械的に処理しようと思った時に、ほとんどの人が MeCabとIPADIC(IPA辞書)の両方、または、どちらかを使うことになります。 IPADICはとてもよく出来ていますが、更新されないまま年月が過ぎているので、例えば2015年3月上旬に急に流行ったような言葉は収録していません。そのため、今日生まれたような新しい文書(例、Apple Watch発売)を解析する時に困ります。困らない人もいますけど、僕は困ります。 その課題に対処するために、日本全国津々浦々、自然言語処理に関わる全ての人は独自にMeCabの新語辞書を作って対応しているわけです。その際に元データとして使われることが多いのは Wikipedia 日本語版やはてなキーワードなどです。 困ったことに、新語辞書を生成
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
mecab-unidic-neologd/README.ja.md at master · neologd/mecab-unidic-neologd
GitHub - neologd/mecab-unidic-neologd: Neologism dictionary based on the language resources on the Web for mecab-unidic
MeCab の新語・固有表現辞書 mecab-ipadic-NEologd のご紹介
GitHub - neologd/neologd: NEologd : neologism dictionary generator
neologd/mecab-ipadic-neologd: Neologism dictionary based on the language resources on the Web for mecab-ipadic