「この先生きのこる」を4つの自然言語処理エンジンに食わせてみる - Qiita
ちょっと気になったのでやってみた。 Google Natural Language API https://cloud.google.com/natural-language/ Kuromoji https://www.atilika.com/ja/kuromoji/ COTOHA API https://api.ce-cotoha.com/demo?query=%E3%81%93%E3%81%AE%E5%85%88%E7%94%9F%E3%81%8D%E3%81%AE%E3%81%93%E3%82%8B%E3%81%9F%E3%82%81%E3%81%AB Rakuten MA http://rakuten-nlp.github.io/rakutenma/ 感想 意外と「この先生」「きのこる」とは誰も解析してくれませんでした。 ほかにもwebで試せるものが教えてください。
楽して技術書典 5 のサークルさんを探したい - Qiita
技術書典 5、楽しみですね。 どんなサークルさんに出会えるのか、もう楽しみで夜も 8 時間くらいしか眠れないです。 とっても楽しみなのですが当日会場で迷わないためにも事前チェックは欠かせません。 技術書典 5 のサイトにはサークルチェックリストという便利機能があるのでこれを利用するわけですね。 チェックするサークルさんの数を雑に数えてみたら って言われました。すごい。 (2018/10/02 現在) もちろん時間があれば全部 1 つずつ見ていくわけですが、もう少し何とかならないかと devtools で眺めているとサークルさんのデータは API で一覧を取得することができるようになっていました。 なので一覧データに入っているもので単語検索してみた、というのがこの記事の趣旨です。 できたもの Node.js でこんな感じの CLI を作ってみました。 あいまい検索で関連していそうなサークルさ
FESS で収集した情報を Ruby で取り出す - Qiita
機械学習関連情報の収集と分類(構想)の FESS / Elasticsearch 関連部分の詳細です。 実際に調べた時点から半年ほど時間が経っていますので、現状と若干ずれがあるかもしれません。 (1) 記事のスキーマ FESS はクロールした記事の管理に Elasticsearch を使っています。そのスキーマ構造はドキュメントを探しても見つかりませんでした。 が…、FESS の管理画面( http://localhost:8090/admin/dashboard/ 1 ) で、more -> analysis を選択すると ANALYZE BY FIELD TYPE というプルダウンが現れるので、index name / type /field name をプルダウンしてスキーマ構造を確認することができるようです。 結果、/fess/doc に記事本体があると推定できたので、FESS の
Crowiで検索を有効化する(CentOS 6.8) - Qiita
Crowiシリーズの３本目である。 Crowiをセットアップする(CentOS 6.8) CrowiでGoogleAppsでのログインを有効化する version1.5.0から実装された検索機能を使用する。 環境 CentOS 6.8 Java 1.7 (1.6で動かそうとして失敗した) Crowi v1.5.0 Elasticsearchを導入する 検索機能を使用するにはElasticserachが必要だそうなのでこれを導入する。 レポジトリの設定 yumレポジトリの設定 $ rpm --import https://packages.elastic.co/GPG-KEY-elasticsearch レポジトリの設定を書き換える [elasticsearch-2.x] name=Elasticsearch repository for 2.x packages baseurl=http:
自分で逃げ恥を分析しませんか？ - Qiita
序文 どうも、再びの新人です。 前回の続きです。 前回mecabだけを使っていたらうまくいかなくて、そのまま世にお披露目をしたところ各方面（qiitaやtwitterやほぼ全方面）から「IPA辞書だけで日本語いけると思うな、NEologdを使え」とのまさかりが飛んできたのでありがたく 顔面 正面から受け止めてみました。 また、ElasticsearchのPluginで日本語解析ができる elasticsearch-analysis-kuromoji も使ってみました。 構想した時点での所感（口語調） NEologdは現代語に対応しているらしいけど、今流行りだしたばかりの新語が横行するTwitterでどこまで通用するだろうか。 kuromojiは日本語分割はできるらしいけど、どこまで現代語的なのだろうか。リプやハッシュタグを取り除く方法はよく分からないな。 環境 前回をご参照ください。 作業
elasticsearch-analysis-kuromoji-neologdの辞書を最新に置き換えて自前ビルド・インストール - Qiita
elasticsearch-analysis-kuromoji-neologdの辞書を最新に置き換えて自前ビルド・インストールElasticsearchkuromojineologd 本家 https://github.com/codelibs/elasticsearch-analysis-kuromoji-neologd が5.x系のみの更新サポートになってしまったので 2.xユーザーが自前で更新する方法 環境はCentOS 7.2 git clone -b 2.4.x https://github.com/codelibs/elasticsearch-analysis-kuromoji-neologd.git でソースを取得し、 pom.xml の 5.5.2-20161110 を http://maven.codelibs.org/org/codelibs/lucene-analyz
Kuromojiについて - Qiita
Kuromojiを使用するにあたっての雑記。ただのメモ。 はじめに Kuromojiは日本語形態素解析エンジンであるが、そもそも形態素解析とは何？ってとこから。 形態素解析とは 文を単語に区切り品詞を定める処理 以下の3つの処理を行っている 単語の分割 活用語処理（読みやすい形、意味のある形に変換すること） 品詞を定める といった順番で行っている。 形態素解析の技術 基本的な仕組み 単語辞書 形態素ラティス 最小コスト法 単語辞書 形態素解析を行うにあたって、単語を分割する必要があるがどこで切ればいいかというのが課題。 ここで単語辞書というものを使用している。 単語辞書というのは10万以上の単語帳のようなもので、入力された文章に対して想定されるすべての分け方パターンを抽出されるのに使用される。 ただ、毎回検索していては計算時間が膨大にかかってしまうためツリー状に辞書の持ち方をして管理をして
PDIでKuromojiを使って形態素解析をする - Qiita
経緯など Pentaho Data Integartion(PDI)上で形態素解析する必要があったので調査とメモ。 PDIがJavaで実装されているため呼び出しやすいようにJavaの形態素解析器を調べたところ、Kuromojiがあったので、そちらを利用させていただくことにしました。 ただ、Javaで書いてPDIで呼ぶのも面倒だったので、結局Jython経由で利用しています。 使用環境 PDI 7.1 Java Version 8 Update 131 Kuromoji 0.7.7 Jython 2.7.0 設定手順 PDIはこちらからダウンロードしてきたZIPファイルを適当な場所に解凍しておくだけでよい ※解凍すると"data-integration"というディレクトリができるがこの辺りは割愛 ※あとJavaが必要なので事前にインストールしておく KuromojiをGitHubからZIPフ
elyzer -> NameError: name 'unicode' is not defined - Qiita
Update 修正していただきました！ 困っていたらアップデートしましょう。 https://github.com/o19s/elyzer/issues/15 Elyzer: Elasticsearch の検索 Issue で役に立つツール。 アナライザの各フィルターがどう動いてるか解るやつ ただ、python のバージョン Issue? っぽい何かでしっかり動かなかった。。。 $ pip show elyzer Name: elyzer Version: 1.1.0 Summary: Step-by-Step Debug Elasticsearch Analyzers Home-page: https://github.com/o19s/elyzer Author: Doug Turnbull Author-email: dturnbull@o19s.com License: Apach
Kibanaを用いたSlackの統計情報の可視化と全文検索 - Qiita
本記事はSlack Advent Calendar 2017の1日目の記事です。 概要 Kibanaを用いてSlackの過去ログから統計情報の可視化と全文検索を行う方法を紹介します。 Slackの過去ログをELKのような全文検索エンジンに入れることで、以下のメリットが得られます。 Slackの提供していない統計情報の可視化 無料版Slackのメッセージ数制限を超えて全ての過去ログから全文検索 本記事では、簡単のためDockerでELKスタックを立ち上げ、自作したスクリプトでSlackの過去ログを流し込み、Kibanaから可視化と全文検索を行う方法を解説します。 Slackの過去ログのexport 過去ログのexportは、workspaceのadminのみが行えます Slackの過去ログは https://my.slack.com/services/export からzip形式でダウンロー
自作カナ変換プラグインでElasticsearchの日本語検索をいい感じにする - Qiita
はじめに Elasticsearch には日本語を形態素解析してくれる 公式プラグイン が存在します。 長い日本語の文章からキーワードをいい感じに抜き出してくれてとても便利なのですが、単語だけのデータとか短い日本語は苦手なようで、うまくいかないことがあります。 たとえば、「サイトウ」さんみたいに漢字が「斉藤」とか「斎藤」とか「齋藤」とか何種類かある場合は全然マッチしてくれません。 kuromoji_readingform token filter で全部カナに変換しておくことである程度吸収できるのですが、これを使うときはあらかじめ kuromoji_tokenizer でトークンごとに分けておく必要があります。 検索ボックスに何をを入力するか考えてみてほしいのですが、こういう検索をするのは珍しいと思います。 私ならこうします。 検索ワードの切れ目は自分で決めたい人が多いのではないのでしょう
Elasticsearchで品詞分解① (テンプレート編) 【追記あり】 - Qiita
ELSには日本語解析プラグインが用意されています。 Japanese (kuromoji) Analysis Plugin | Elasticsearch Plugins and Integrations [6.1] | Elastic Java等で品詞分解する事ももちろんできますが、ELSのテンプレートを利用する事で、Kibana上で品詞分解表示などが出来ます。 この記事では、まずELSのテンプレートで登録するところまでをやります。 プラグインインストール Elasticsearchの日本語の形態素解析をする際に利用されるkuromojiは非常に便利ですが、その辞書であるIPADICは更新が止まっているためやや古い状態です。 その辞書を更新してくださった方がいらっしゃり、neologdとして公開されているためそれを導入して新語でもきちんと解析できるようにします。 neologdでkuro
Elasticsearchで品詞分解② (Kibana編) - Qiita
この記事は、Elasticsearchで品詞分解① (テンプレート編) の続きです。 テンプレートとマッピングの定義まで出来たので、データを投入して、Kibanaで表示させてみます。 テストデータ投入 { "body_txt": "jsoupというとスクレイピングがよくに出てきますが、こういう使い方もありますよ、という事で。ログイン->cookie保持->ログイン後処理というjsoupコードが日本語であんまりなかったので、せっかくの機会ですし纏めてみました。jsoupで一番苦労するのは、実際に処理が実行されるURLがどういうものなのか、を見つける事ですね。formで指定されていたり、リダイレクトされたり…メモ帳でtsvを触ると、なぜか先頭に?が入ってしまう、という謎の現象が起きたので、IPアドレスの取得方法には正規表現を使用しています。エディタの指定とかできないんで…つい昔の習慣で、bea
solrで日本語形態素解析結果を調べる(Mac版) - Qiita
Macでsolr導入から日本語形態素解析結果のテストをするまでの手順メモです。 前提 OS Mac OS 10.13.3 Java 1.8.0_151-b12 手順 Solr サイトからダウンロード zip ファイルの解凍 下記コマンドでサーバーの起動・コア作成 ブラウザから管理画面起動 Core selector で mycore 選択 左のメニューから「analysis」選択 「Fieldname / Field type」で「text_ja」を選択 Filed Value(Query)に質問文を入力し、「Analysis Values」ボタンをクリック (一番上の「JT」(JapaneseTokenizer)の結果) (一番下の「LCF」(LowerCaseFilter)の結果) 補足 デフォルトで自動生成される構成ファイル(solr-7.2.1/server/solr/mycore
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
How to split Japanese text?
Behavior of elasticsearch-analysis-kuromoji is not what i expected
Elasticsearch error when creating index possibly due to module Kuromoji not installed properly
Elasticsearch/Kuromoji: How to Use Kuromoji with Unidic
ElasticSearch 2.4.1 and Kuromoji plugin with specify filed in search query
stoptags一覧 - Qiita
