The CJK Dictionary Institute, Inc. (CJKI) specializes in the compilation of comprehensive dictionary databases for CJK (Chinese, Japanese, Korean) languages, as well as Arabic, Spanish, and others. These databases include an abundance of grammatical, phonological, and semantic attributes for general vocabulary, proper nouns, and technical terms. CJKI has become one of the world’s prime resources f
KoNLPy: Korean NLP in Python¶ KoNLPy (pronounced “ko en el PIE”) is a Python package for natural language processing (NLP) of the Korean language. For installation directions, see here. For users new to NLP, go to Getting started. For step-by-step instructions, follow the User guide. For specific descriptions of each module, go see the API documents. >>> from konlpy.tag import Kkma >>> from konlpy
Apache OpenNLPのPOSTagger(品詞タグ付け器)の使い方をまとめました. はじめに:Apache OpenNLPとは? Javaで実装されたオープンソースの自然言語処理(NLP)ライブラリです. 形態素解析,品詞タグ付け,固有表現抽出や, 色々なアルゴリズムやモデルをサポートしています. 今回はそれらの機能のうち,品詞タグ付けについて扱います. 英語を始めとした西洋の言語をサポートしており,日本語には対応していません. POSTaggerとは? 文を与えると,文中の各単語の品詞(part-of-speech; pos)を返してくれる(品詞タグをつけてくれる)ものです. 例えば,「The Apache OpenNLP library is a machine learning based toolkit for the processing of natural langu
Apache OpenNLPとは? Apache OpenNLP(以下OpenNLP)は、統計的自然言語処理(Statistical Natural Language Processing)のためのツールキットです。Javaで実装されたOSSの自然言語処理(NLP)ライブラリであり、2010年11月にApache Incubatorに寄贈され、2012年2月にApacheのトップレベルプロジェクト(TLP)に昇格しました。 自然言語処理と検索エンジンは技術的な関連が深いため、OpenNLPの知識があると、Solrの機能を改善したりパワーアップするのに大いに役立ちます。たとえばLUCENE-2899では、OpenNLPのトークナイザーをSolrから使うための改善提案が行われています。 OpenNLP関連記事の第一弾となる本稿では、OpenNLPの利用知識の入門として、OpenNLPに附属して
Coursera Machine Learning (6): 機械学習のモデル評価(交差検定、Bias & Variance、適合率 & 再現率)機械学習coursera交差検定適合率再現率 機械学習を学ぶのに最も適した教材と言われる、Machine Learning | Coursera を受講しているので、復習も兼ね学んだ内容を簡潔にまとめてみようと思います。 第六弾は、機械学習モデルの検証です。データを手に入れ、いざモデルを作りました。そのモデルはいいモデルなんでしょうか?そもそもいいモデルってなんでしょう?そういう、意外と大切なことを学ぶ回です。 過去の記事 Coursera Machine Learning (1): 機械学習とは?単回帰分析、最急降下法、目的関数 Coursera Machine Learning (2): 重回帰分析、スケーリング、正規方程式 Coursera
【最終更新 : 2017.12.17】 ※以前書いた記事がObsoleteになったため、2.xできちんと動くように書き直しました。 データ分析ガチ勉強アドベントカレンダー 17日目。 16日目に、1からニューラルネットを書きました。 それはそれでデータの流れだとか、活性化関数の働きだとか得るものは多かったのですが、Kerasと言うものを使ってみて、何て素晴らしいんだと感動してしまいました 今まで苦労して数十行書いていたものが、わずか3行で書ける! 正直、スクラッチで書く意味って、理解にはいいけど研究や分析には必要あんまないんですよね。車輪の再発明になるし。 と言うわけで、使えるものはどんどん使っていこうスタンスで、今日はKerasの紹介です! Tutorial+気になった引数を掘り下げて補足のような感じで書いています。 ちなみに、各部のコード以下をつなぎ合わせるとmnistの分類器が動くよ
2017年10月更新 同じ話題について書きました:「MeCabの中国語分割辞書を作る話」 形態素解析(分かち書き)とは 形態素解析というのは「我是英國人」という文章を入れたときに「我/是/英國/人」という形態素(意味を持つ最小の単位)に分割するものです。ここでは必ずしも形態素に分割することを求めていないので「分かち書き」という言葉を使います。 このエントリを作ろうと思ったのは情報がほとんどなくて自分が非常に苦労したからです。このエントリがあることで多くの人にとって役に立つことを願います。 中国語の形態素解析器はほとんどない 「関口宏司のLuceneブログ」によると 「中国語には(商用のものを除き)形態素解析器が(あまり)ない」という話を聞いたことがあります とのことです。他にも「(2004年度修士論文)JPドメインにおける茶筌を用いた中国語ページの抽出(PDF注意)」を見ると 3.2.1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く