ちゃお……† 今回は感情分析ライブラリML-Askについて紹介します。 ML-Askができること 感情の推定 2,100語の辞書によるパターンマッチングで{喜, 怒, 哀, 怖, 恥, 好, 厭, 昂, 安, 驚}の10種類の感情を推定します。この2,100語は、感情表現辞典に基づいているそうです。 感情の強さ 間投詞、擬態語、がさつな言葉、顔文字、「！」や「？」の数で感情の強さを推定します。 ネガポジ分類 推定された感情から文を{ネガティブ、ポジティブ、ニュートラル}の３種類に分類します。 文脈の考慮 Contextual Valence Shifters (CVS) という概念に基づいて, 文脈を考慮した感情推定を行います. たとえば, 「好きとは言えない」という文の場合、「好き」が否定されているので、「好き」の逆の感情である「厭」だと推定します。 活性的かどうか 推定された感情を元に

はじめに 東北大学の乾・鈴木研究室のページで公開されている日本語評価極性辞書を使ったSentiment Analysis (いわゆるネガポジ判定) ライブラリ oseti を公開しました。これは日本語評価極性辞書を用いて文の評価極性 (ポジティブ/ネガティブ) のスコアを計算するものです。 何番煎じかって感じはありますけど、自分のPCの中にだけずっとあるのはもったいないので公開しました。 ※バージョンv0.2 (2019/10/7公開) からの変更点を追加しました。 インストール このライブラリはMeCabを利用しているためMeCabのインストールも必要です。MeCab本体は以下のURLからダウンロードできます。 http://taku910.github.io/mecab/ あとは依存モジュールとしてneologdnとmecab-python-windowsあるいはmecab-pytho

ちゃお・・・† はじめに 64-bit版Pythonでは、MeCab公式サイトで配布されているWindows用32-bit版MeCabバイナリが実行できません。そこで、Windows用64-bit版MeCabバイナリが必要となるわけですが、わざわざ自分でMeCabのコードをいじってコンパイルするのは面倒です。 そこで、わたしが作ったWindows用64-bit版MeCabバイナリのインストーラーの紹介をしたいと思います。 まず、Windows用64-bit版MeCabバイナリのインストーラー (拡張子に .exe が付いてるもの) を下記URLからダウンロードします。新しいものほど改善されているので新しいバイナリの利用を推奨します。 使い方 まず、前のセクションでダウンロードした exe 形式のインストーラーファイルを実行します。インストーラーでの手順はMeCab公式インストーラーと全く同

ちゃお……† 今回はPythonでお手軽にテキスト全文検索出来るライブラリ shellinford-python を紹介します。 こちらは@echizen_tmさんの shellinford をSWIGでPythonで動作させるようにしたのと、若干の機能追加したものです。Python環境さえあれば簡単にシンプルな全文検索出来るのでお手軽かと思います。 FM indexとは バイオインフォマティクスなんかで使われる検索アルゴリズムです。わたしが説明するより良い説明を見つけたので以下に引用します。 シークエンサーのデータを解析するとき、リードをリファレンス配列にマッピングすることが第一歩である。一般にシークエンサーのリードは数百万個以上で、また、リファレンス配列の塩基数は数億にも及ぶ。これらの数百万のリードを、数億塩基からなるリファレンス配列にマッピングする際に、高速な文字列検索アルゴリズムが

ちゃお……† 久しぶりにまいおり……† ネオ東京文京区からやってきてPython用日本語文字列変換ライブラリjaconvを0.3にアップデートをしました。変更点は下記の通りです。 バグ修正 ひらがなからJuliusの音素表現への変換に対応 バグはアルファベットからひらがなに変換する alphabet2kana 関数の修正です。使ってる人多分少なそうだからあんまり影響ないかも。 そして新機能！ひらがなから音声認識システムJuliusの音素表現に変換する hiragana2julius 関数です！ どんなものかというと以下のようにちょっと気の利いた処理をしつつJuliusの音素表現に変換するのです。 >>> import jaconv >>> print(jaconv.hiragana2julius('てんきすごくいいいいいい')) t e N k i s u g o k u i:

Mozc (OSSのIME) 用の辞書をMeCab (OSSの形態素解析器) 用の辞書に変換することで、MeCabでかな漢字変換できるようにするスクリプトをお遊びで作りました。 💁‍♀ https://github.com/ikegami-yukino/mecab-as-kkc 💁‍♂ 現状では、かな漢字変換は日常的に使われているにも関わらず割とニッチな分野です。特にLinux界隈ではこれまで使われてきたMozcの開発頻度が大幅に下がったため、新しいIMEの登場が期待されています。これをきっかけに少しでもかな漢字変換に興味を持っていただければ幸いです。もっと欲を言えばMozcの代わりとなる新しいLinux用IMEを作っていただけたら最高です。 また、mecab-as-kkcをnksndやJLM、SIMPLE、ngram-converter-cpp、neural_ime、mecab-sk

はじめに ちゃお・・・† 個人的にですが、最近はWindowsのPythonでMeCabを使う機会が増えてきました。しかし、WindowsでMeCabのPythonラッパーを入れるには、ソースをダウンロードしたりsetup.pyを書き換えたりコンパイラをインストールしたりしないといけないので、とても面倒です。 そこで、WindowsでもmacでもUbuntuでもpipで簡単にMeCabのPythonラッパーを使えるものを公開しました！ https://pypi.org/project/mecab/ ※ 過去にmecab-python-windowsというものを公開しましたが、そちらは今後アップデートしないつもりなので、mecab-python-windowsを使っている人はこちらに乗り換えることを推奨します。 これは何？ インストール時のOSによってふるまいを変えることで、一つのパッケージ