日本語形態素解析の裏側を覗く！MeCab はどのように形態素解析しているか - クックパッド開発者ブログ
こんにちは、買物情報事業部の荒引 (@a_bicky) です。 前回、「検索結果の疑問を解消するための検索の基礎」で単語単位でインデキシングする前提で説明しましたが、今回は文などを単語単位で分割するために使う技術である形態素解析について触れます。 形態素解析器には色々ありますが、中でもメジャーと思われる MeCab の仕組みについて説明します。 MeCab の解析精度を上げるために辞書に単語を追加したことのある方もいると思いますが、動作原理を理解することで単語を追加する際に適切な生起コストを設定できるようになったり、学習の際に適切なパラメータを設定できるようになったりするはずです。 なお、MeCab は汎用テキスト変換ツールとしても使用できます が、簡単のため MeCab + IPA 辞書のデフォルト設定前提で説明します。 アジェンダ 形態素解析とは MeCab における最適な解析結果の推
PolyglotとGoogle Cloud Functionで形態素解析apiを作る
PolyglotとGoogle Cloud Functionで形態素解析apiを作るThursday, March 21, 2019 現在大学の授業で行なっているプロジェクトで英語の文章を形態素に分割することがあったため、pythonのpolyglot を使用し、ついでにgoogle cloud functionでベータ版として提供されているpythonランタイム で形態素解析apiを作成しました。 PolyglotとはPolyglotは英語で多言語話者のことを指すのですが、pythonのpolyglot はその名の通り多数の自然言語を処理するツールを提供するパッケージです。 GoogleのCloud Natural Language Api の構文解析のように文章を品詞分解してくれるパッケージはよくあるのですが、polyglotのように英語の文章を形態素に分解する機能があるものは珍しいの
polyglotで英語の構文解析をする - tohokuaikiのチラシの裏
日本語だと、MeCabとか入れておけば大体大丈夫で日本語での検索も捗るんだけど、英語って言われると…となってしまったので lab.astamuse.co.jp を参考にCentOS7で解析してみる。 インストール とりあえず環境 $ more /etc/redhat-release CentOS Linux release 7.4.1708 (Core) 実行 python-numpyが必要らしい。・・・んだけど、yum listしてみると、python27-numpyしかない。 しかし、んー、27ってついてるけど・・・・ [itoh@localhost ~]$ which python2.7 /bin/python2.7 [itoh@localhost ~]$ which python /bin/python [itoh@localhost ~]$ ls -l /bin/python l
Polyglotを使った形態素解析の環境構築
英文の自然言語処理におススメ！お手軽なPolyglotを使ってみた。(http://lab.astamuse.co.jp/entry/try-polyglot) ↑を参考にさせていただきながら、Polyglotを使えるようになるまでの話。別の環境で動かす必要が出てきた時にハマらないようにメモ(環境はAWS Cloud9のAmazon Linux) pipでPolyglotをインストール $ sudo pip install polyglot 英語用のモデルをダウンロードしようとするとICUが無いと言われる $ polyglot download embeddings2.en pos2.en 〜略〜 ModuleNotFoundError: No module named ‘icu’ pyicuを入れようとすると何か色々言われる $ sudo pip install pyicu 〜略〜 Pl
英文の自然言語処理におススメ！お手軽なPolyglotを使ってみた。 - astamuse Lab
こんにちは。白木（@YojiShiraki）です。デザイナーです。 今日はPythonで英文形態素解析をする上でお手軽便利なpolyglotについて紹介します。 背景 当社ではデータを分析・解析する機会がままありまして、こうしたときに自然言語解析の処理のツールを利用しています。特に最近では英語データが多く、このあたりのツールのニーズが高くなっています。 しかし、いざ英語の解析となると意外に情報がありません。 例えば、日本語の解析ならMeCabやChaSen、Kuromojiといったものはすぐ見つかります。しかし英文の自然言語解析ではTreeTaggerの情報は目につくもののイマイチまとまった情報がありません（このページやこのページに他の選択肢がまとまっていますが）。 おそらくこの領域ではNLTKが王道なのかと思いますが、やや重厚感あります。 そこでもう少しライトなものをということでPoly
検索エンジンに品詞情報を付加する：具体的な検索アルゴリズムの解説(stanza)(PHP) - mm参考書
英語・語句選択問題検索が品詞による検索に対応しました。この投稿では，自作の検索エンジンで品詞を用いた検索を実現する方法と，そのアルゴリズムについて紹介します。 品詞情報の取得 品詞を用いた検索を実現するためには，検索対象となるデータから品詞情報を抽出する必要があります。品詞情報を抽出する方法は有料・無料のものを含めていくつか選択肢がありますが，ここではオープンソースであるstanzaを使用します。 stanzaを用いた品詞情報の抽出方法については，NLP(自然言語処理) Stanzaによる構文解析の結果を取得するを参照して下さい。言語はpythonを使用します。データベースが大きくなると，かなりの計算時間を要します。 stanzaを用いると，以下のような品詞情報が抽出できます。 Look! There's a dog in the hall. "VB", ".", "EX", "VBZ",
【PHP】Mecabで「似ているデータ」を見つける方法
さてさて、前回を除くと最近公開した記事がほぼLaravelの話題がばかりになっていることに気がつきました。Laravelの話題ってホントに尽きないですね😊✨ 常々思っているのですが、私の開発環境は現在ドップリLaravel化してしまい、正直なところネイティブなPHPコードの開発は過去１年間でたった一回だけ（しかも古いサイトの移転のお手伝い）だったので、たまにはPHP全般の話題も、といろいろ考えていました。 すると、まっさきに思い浮かんだのが日本語に関連する話題です。 というのもLaravelももちろん多言語にいろいろと対応はしていますが、さすがに単一国家だけで話されている日本語のみに対応するというのはあまりないはずだと考えたからです。 そして、そんな影響で今回お届けするのは、 PHPで「似ているデータ」を見つけ出す方法 です。 しかも、今回は誰でもシンプルに実行できるように難解な公式や機
Wikipedia から短歌のリズム になった文 取り出すbotが 詩的で素敵
偶然短歌bot @g57577 ウィキペディア日本語版（2014年11月の版）で、偶然５７５７７になっている文章を短歌としてつぶやきます。何かあれば @inaniwa3 までお願いします。
TechCrunch | Startup and Technology News
VCs are clamoring to invest in hot AI companies, willing to pay exorbitant share prices for coveted spots on their cap tables. Even so, most aren’t able to get into such deals at all. Yet, small, unknown investors, including family offices and high-net-worth individuals, have found their own way to get shares of the hottest…
人々の語彙を調べるサービスを作った | 774::Blog
ひとでくんさんという人の日記によると、近年、若者の語彙が貧弱になって、便利とか最高みたいな言葉しか発しなくなっているとのことである。そこで、人々の語彙を調査するウェブサービスを作った。 語彙抽出器 http://vocabulary.id774.net/vocabulary/ 「スクリーンネーム」に Twitter の名前を入れて送信すると、その人の語彙がよく使う順に一覧表示される。 たとえば上の日記を書いている hitode909 さんの語彙を調べてみよう。上記サービスのスクリーンネーム欄に hitode909 と入力し送信する。すると彼が使う語彙が一覧表示され、最高または便利という単語のみ赤く強調表示される。よく見ると便利という単語はよく使われているようだが、最高という単語のほうはそれほどでもないようだ。 他の人はどうだろうと今度は fuba という人の語彙を調べてみた。すると最高も便
「激おこぷんぷん丸」の形態的分析試案 - 誰がログ
ついったーで「激おこぷんぷん丸」の国語教員による分析・品詞分解が話題になっていて、 www.yukawanet.com どうなのかなあ、みたいなことをつぶやいていたのですが、けちだけつけていてもあれなので即興で分析。 以下の内容は関連文献の調査とかしてませんので細部は結構適当なところもあります。色々叩いて遊んでみてください。 前提と方法 先頭の要素から分解しながら、その要素をどう考えるのか少し考察する。ちなみに 語：≒自由形態素。単独で句・節・文の構成要素になることができる 接辞：≒拘束形態素。単独で句・節・文の構成要素になることができず、自由形態素にくっついて現れる という粗い定義を採用している。 「激」 「激だ」「激を」などの用法は今のところ見つかっていないので接頭辞とする。 「強い」「はげしい」といった意味で漢語の構成要素となる（例：激痛、激減、激戦、…）のが一般的であると思われるが
7.膨大なキーワードを整理しコンテンツを作成する ｜ リアルタイムSEO日誌
今回の流れと目的 コンテンツの幅を保つためにカニバリゼーションを防ぐ 複合ワードのパターンから質問文を作る 過去データとツールの検索語から質問文を作る キーワードの微調整をする 次回のお知らせ 今回の流れと目的 今回の流れ 先々週と先週に渡り、「解体工事Q&A」の材料となる情報を収集しました。現状手元にある材料は下記の通りです。 ブレストで得たユーザーの疑問・不安（約300個） Yahoo!知恵袋から得たユーザーの疑問・不安（約100個） 複合ワードのパターンから得たキーワード（約180個） 過去データとツールから得たキーワード（約30,000個） １と２に関しては、既にQ&Aで利用可能な質問文の形になっていますが、３と４については言葉の羅列に過ぎません。 そこで、今回は今までに得たキーワードから質問文を作成していきたいと思います。前半部分では３のキーワードから、後半部分では４のキーワード
オープンソースで必要な英語力を調べてみた
最近、mrubyのIssuesを英語で書くのが厳しく、やっぱり英語は勉強しなきゃなと日々痛感しています。 勉強するにしても普通の英語とは違うので、Issueを英語で書くためにどれぐらいの単語力が必要なのか調べてみました。 GitHub上のmrubyとnodejsのIssuesをダウンロードして形態素解析をして、単語の頻度をグラフにしてみました。 ものすごく偏っていることがわかります。 ここから1000だけ切り出してみます。 これを見ると3-500でほとんど部分をカバーできそうです。固有名詞もあるからもっと少ないはず。 これをベースにして「300語で書くオープンソースの英語」とか出来ないかな？ あとは、Phrasal verbs(get into, put onみたいなヤツ) なんだけど、代表的な物を公開しているリストないかな？それもランキングできると面白そう。 なお、この単語数は形態素解析
SimSimi API
Baidu embed SimSimi API in their own Siri Chinese Google , Baidu support conversation function on their own siri-like Virtual Voice Assistant by SimSimi API. Chinese No.1 SNS Renren Now Renren user make over 1 million conversation per day via SimSimi API Boyfriend Maker hits No.1 spot on Japan Appstore 36 you games’ “Boyfriend Maker” hits No.1 Spot on Japan Appstore, after support “Talk with Boyfr
エブログ JavaScript で形態素解析もどき
JavaScript で形態素解析もどき JavaScript で形態素解析のようなものを。 totonの日記 - すべての漢字を取り出す正規表現 「すべての漢字を取り出す正規表現」をPHPで試す:phpspot開発日誌 これらの記事を参考にして JavaScript で漢字、ひらがな、カタカナ、英数字に区切ることをしています。 ただ、文字コード的にちゃんとできるのか、よくわかりません。Seesaa はShift_jis なのでおかしくなる場合もあるかも知れないです。 下のテキストエリアに文章を入力して解析ボタンを押すと解析結果が表示されます。解析というか、単純に改行で区切っているだけですが。 サンプルは青空文庫の太宰治 走れメロスの冒頭部分。 メロスは激怒した。必ず、かの邪智暴虐（じゃちぼうぎゃく）の王を除かなければならぬと決意した。メロスには政治がわからぬ。メロスは、村の牧人である。笛
MOONGIFT: » JavaScriptで分かち書き「TinySegmenter」:オープンソースを毎日紹介
※ 画像は公式サイトデモより 分かち書きや形態素解析のニーズは色々な所に存在する。テキストはWebベースで最も扱われるデータの一つであって、その内容を分析、解析して欲しい情報だけを抽出するというのは重要な技術だ。 大規模な辞書データを元に行う形態素解析はコストがかかりすぎる。手軽に行うならこのソフトウェアを使ってみるのはどうだろう。 今回紹介するオープンソース・ソフトウェアはTinySegmenter、JavaScriptベースの分かち書きエンジンだ。 TinySegmenterはまさにJavaScriptベース、クライアントサイドでの分かち書きエンジンだ。辞書を使わない点が一番の特徴で、それによって時代の流れに依らず、さらに言語比依存であるために言語を問わず利用できる。 わずか25キロバイトしかないので、ごく軽量だ。動作の素早い。日本語として正しく書かれている新聞記事などに対して強いが、
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
TechCrunch | Startup and Technology News
動画の中の人が何をしているか分かるアルゴリズム、開発される
SIGNL213
PHP で Mecab を使って日本語形態素解析の結果を簡単に取得するまでの設定まとめ