「この先生きのこる」を4つの自然言語処理エンジンに食わせてみる - Qiita
ちょっと気になったのでやってみた。 Google Natural Language API https://cloud.google.com/natural-language/ Kuromoji https://www.atilika.com/ja/kuromoji/ COTOHA API https://api.ce-cotoha.com/demo?query=%E3%81%93%E3%81%AE%E5%85%88%E7%94%9F%E3%81%8D%E3%81%AE%E3%81%93%E3%82%8B%E3%81%9F%E3%82%81%E3%81%AB Rakuten MA http://rakuten-nlp.github.io/rakutenma/ 感想 意外と「この先生」「きのこる」とは誰も解析してくれませんでした。 ほかにもwebで試せるものが教えてください。
楽して技術書典 5 のサークルさんを探したい - Qiita
技術書典 5、楽しみですね。 どんなサークルさんに出会えるのか、もう楽しみで夜も 8 時間くらいしか眠れないです。 とっても楽しみなのですが当日会場で迷わないためにも事前チェックは欠かせません。 技術書典 5 のサイトにはサークルチェックリストという便利機能があるのでこれを利用するわけですね。 チェックするサークルさんの数を雑に数えてみたら って言われました。すごい。 (2018/10/02 現在) もちろん時間があれば全部 1 つずつ見ていくわけですが、もう少し何とかならないかと devtools で眺めているとサークルさんのデータは API で一覧を取得することができるようになっていました。 なので一覧データに入っているもので単語検索してみた、というのがこの記事の趣旨です。 できたもの Node.js でこんな感じの CLI を作ってみました。 あいまい検索で関連していそうなサークルさ
FESS で収集した情報を Ruby で取り出す - Qiita
機械学習関連情報の収集と分類(構想)の FESS / Elasticsearch 関連部分の詳細です。 実際に調べた時点から半年ほど時間が経っていますので、現状と若干ずれがあるかもしれません。 (1) 記事のスキーマ FESS はクロールした記事の管理に Elasticsearch を使っています。そのスキーマ構造はドキュメントを探しても見つかりませんでした。 が…、FESS の管理画面( http://localhost:8090/admin/dashboard/ 1 ) で、more -> analysis を選択すると ANALYZE BY FIELD TYPE というプルダウンが現れるので、index name / type /field name をプルダウンしてスキーマ構造を確認することができるようです。 結果、/fess/doc に記事本体があると推定できたので、FESS の
Crowiで検索を有効化する(CentOS 6.8) - Qiita
Crowiシリーズの３本目である。 Crowiをセットアップする(CentOS 6.8) CrowiでGoogleAppsでのログインを有効化する version1.5.0から実装された検索機能を使用する。 環境 CentOS 6.8 Java 1.7 (1.6で動かそうとして失敗した) Crowi v1.5.0 Elasticsearchを導入する 検索機能を使用するにはElasticserachが必要だそうなのでこれを導入する。 レポジトリの設定 yumレポジトリの設定 $ rpm --import https://packages.elastic.co/GPG-KEY-elasticsearch レポジトリの設定を書き換える [elasticsearch-2.x] name=Elasticsearch repository for 2.x packages baseurl=http:
自分で逃げ恥を分析しませんか？ - Qiita
序文 どうも、再びの新人です。 前回の続きです。 前回mecabだけを使っていたらうまくいかなくて、そのまま世にお披露目をしたところ各方面（qiitaやtwitterやほぼ全方面）から「IPA辞書だけで日本語いけると思うな、NEologdを使え」とのまさかりが飛んできたのでありがたく 顔面 正面から受け止めてみました。 また、ElasticsearchのPluginで日本語解析ができる elasticsearch-analysis-kuromoji も使ってみました。 構想した時点での所感（口語調） NEologdは現代語に対応しているらしいけど、今流行りだしたばかりの新語が横行するTwitterでどこまで通用するだろうか。 kuromojiは日本語分割はできるらしいけど、どこまで現代語的なのだろうか。リプやハッシュタグを取り除く方法はよく分からないな。 環境 前回をご参照ください。 作業
elasticsearch-analysis-kuromoji-neologdの辞書を最新に置き換えて自前ビルド・インストール - Qiita
elasticsearch-analysis-kuromoji-neologdの辞書を最新に置き換えて自前ビルド・インストールElasticsearchkuromojineologd 本家 https://github.com/codelibs/elasticsearch-analysis-kuromoji-neologd が5.x系のみの更新サポートになってしまったので 2.xユーザーが自前で更新する方法 環境はCentOS 7.2 git clone -b 2.4.x https://github.com/codelibs/elasticsearch-analysis-kuromoji-neologd.git でソースを取得し、 pom.xml の 5.5.2-20161110 を http://maven.codelibs.org/org/codelibs/lucene-analyz
Kuromojiについて - Qiita
Kuromojiを使用するにあたっての雑記。ただのメモ。 はじめに Kuromojiは日本語形態素解析エンジンであるが、そもそも形態素解析とは何？ってとこから。 形態素解析とは 文を単語に区切り品詞を定める処理 以下の3つの処理を行っている 単語の分割 活用語処理（読みやすい形、意味のある形に変換すること） 品詞を定める といった順番で行っている。 形態素解析の技術 基本的な仕組み 単語辞書 形態素ラティス 最小コスト法 単語辞書 形態素解析を行うにあたって、単語を分割する必要があるがどこで切ればいいかというのが課題。 ここで単語辞書というものを使用している。 単語辞書というのは10万以上の単語帳のようなもので、入力された文章に対して想定されるすべての分け方パターンを抽出されるのに使用される。 ただ、毎回検索していては計算時間が膨大にかかってしまうためツリー状に辞書の持ち方をして管理をして
PDIでKuromojiを使って形態素解析をする - Qiita
経緯など Pentaho Data Integartion(PDI)上で形態素解析する必要があったので調査とメモ。 PDIがJavaで実装されているため呼び出しやすいようにJavaの形態素解析器を調べたところ、Kuromojiがあったので、そちらを利用させていただくことにしました。 ただ、Javaで書いてPDIで呼ぶのも面倒だったので、結局Jython経由で利用しています。 使用環境 PDI 7.1 Java Version 8 Update 131 Kuromoji 0.7.7 Jython 2.7.0 設定手順 PDIはこちらからダウンロードしてきたZIPファイルを適当な場所に解凍しておくだけでよい ※解凍すると"data-integration"というディレクトリができるがこの辺りは割愛 ※あとJavaが必要なので事前にインストールしておく KuromojiをGitHubからZIPフ
elyzer -> NameError: name 'unicode' is not defined - Qiita
Update 修正していただきました！ 困っていたらアップデートしましょう。 https://github.com/o19s/elyzer/issues/15 Elyzer: Elasticsearch の検索 Issue で役に立つツール。 アナライザの各フィルターがどう動いてるか解るやつ ただ、python のバージョン Issue? っぽい何かでしっかり動かなかった。。。 $ pip show elyzer Name: elyzer Version: 1.1.0 Summary: Step-by-Step Debug Elasticsearch Analyzers Home-page: https://github.com/o19s/elyzer Author: Doug Turnbull Author-email: dturnbull@o19s.com License: Apach
Kibanaを用いたSlackの統計情報の可視化と全文検索 - Qiita
本記事はSlack Advent Calendar 2017の1日目の記事です。 概要 Kibanaを用いてSlackの過去ログから統計情報の可視化と全文検索を行う方法を紹介します。 Slackの過去ログをELKのような全文検索エンジンに入れることで、以下のメリットが得られます。 Slackの提供していない統計情報の可視化 無料版Slackのメッセージ数制限を超えて全ての過去ログから全文検索 本記事では、簡単のためDockerでELKスタックを立ち上げ、自作したスクリプトでSlackの過去ログを流し込み、Kibanaから可視化と全文検索を行う方法を解説します。 Slackの過去ログのexport 過去ログのexportは、workspaceのadminのみが行えます Slackの過去ログは https://my.slack.com/services/export からzip形式でダウンロー
自作カナ変換プラグインでElasticsearchの日本語検索をいい感じにする - Qiita
はじめに Elasticsearch には日本語を形態素解析してくれる 公式プラグイン が存在します。 長い日本語の文章からキーワードをいい感じに抜き出してくれてとても便利なのですが、単語だけのデータとか短い日本語は苦手なようで、うまくいかないことがあります。 たとえば、「サイトウ」さんみたいに漢字が「斉藤」とか「斎藤」とか「齋藤」とか何種類かある場合は全然マッチしてくれません。 kuromoji_readingform token filter で全部カナに変換しておくことである程度吸収できるのですが、これを使うときはあらかじめ kuromoji_tokenizer でトークンごとに分けておく必要があります。 検索ボックスに何をを入力するか考えてみてほしいのですが、こういう検索をするのは珍しいと思います。 私ならこうします。 検索ワードの切れ目は自分で決めたい人が多いのではないのでしょう
Elasticsearchで品詞分解① (テンプレート編) 【追記あり】 - Qiita
ELSには日本語解析プラグインが用意されています。 Japanese (kuromoji) Analysis Plugin | Elasticsearch Plugins and Integrations [6.1] | Elastic Java等で品詞分解する事ももちろんできますが、ELSのテンプレートを利用する事で、Kibana上で品詞分解表示などが出来ます。 この記事では、まずELSのテンプレートで登録するところまでをやります。 プラグインインストール Elasticsearchの日本語の形態素解析をする際に利用されるkuromojiは非常に便利ですが、その辞書であるIPADICは更新が止まっているためやや古い状態です。 その辞書を更新してくださった方がいらっしゃり、neologdとして公開されているためそれを導入して新語でもきちんと解析できるようにします。 neologdでkuro
Elasticsearchで品詞分解② (Kibana編) - Qiita
この記事は、Elasticsearchで品詞分解① (テンプレート編) の続きです。 テンプレートとマッピングの定義まで出来たので、データを投入して、Kibanaで表示させてみます。 テストデータ投入 { "body_txt": "jsoupというとスクレイピングがよくに出てきますが、こういう使い方もありますよ、という事で。ログイン->cookie保持->ログイン後処理というjsoupコードが日本語であんまりなかったので、せっかくの機会ですし纏めてみました。jsoupで一番苦労するのは、実際に処理が実行されるURLがどういうものなのか、を見つける事ですね。formで指定されていたり、リダイレクトされたり…メモ帳でtsvを触ると、なぜか先頭に?が入ってしまう、という謎の現象が起きたので、IPアドレスの取得方法には正規表現を使用しています。エディタの指定とかできないんで…つい昔の習慣で、bea
solrで日本語形態素解析結果を調べる(Mac版) - Qiita
Macでsolr導入から日本語形態素解析結果のテストをするまでの手順メモです。 前提 OS Mac OS 10.13.3 Java 1.8.0_151-b12 手順 Solr サイトからダウンロード zip ファイルの解凍 下記コマンドでサーバーの起動・コア作成 ブラウザから管理画面起動 Core selector で mycore 選択 左のメニューから「analysis」選択 「Fieldname / Field type」で「text_ja」を選択 Filed Value(Query)に質問文を入力し、「Analysis Values」ボタンをクリック (一番上の「JT」(JapaneseTokenizer)の結果) (一番下の「LCF」(LowerCaseFilter)の結果) 補足 デフォルトで自動生成される構成ファイル(solr-7.2.1/server/solr/mycore
kuromoji.js（日本語形態素解析）の使い方 - Qiita
kuromoji.jsをシンプルに使う為のサンプル デモは以下で可能。 Furigana Extension（chrome拡張） https://chrome.google.com/webstore/detail/furigana-extension/kenooeijfmebjimghhoijpdbednpnpbl kuromojiオブジェクトの作成 // kuromojiオブジェクト let kuromojiObj; // kuromojiオブジェクトの作成 kuromoji.builder({ dicPath : 'dict/' }).build(function(error, _tokenizer) { if (error != null) { console.log(error); } kuromojiObj = _tokenizer; }); // kuromojiオブジェクトの
neologd 組み込みlucene kuromoji コンパイル環境のdocker化 - Qiita
mecab-ipadic-neologd辞書を組み込んだ、lucene kuromojiを作成するコンパイル環境をdocker化しました。 環境構築 git clone https://github.com/ft28/practice.git cd solr/neologd docker-compose build 上記コマンドを実行すると、mecab, mecab-ipadic, lucene-solrの各リポジトリを取得、dockerコンテナ内でコンパイルが実行され、neologd辞書を含んだ lucene kuromoji jarファイルがsolrディレクトリ以下に作成されます。このjarファイルを、既存jarファイルと置き換えると、solrでneologd辞書を使った形態素解析が可能になります。 neologd 辞書のコンパイルオプション build.sh でneologd辞書をコ
kuromojiにヌル文字<0x00>を渡すとエラーになる - Qiita
TypeError: Cannot read property 'length' of undefined at ViterbiBuilder.build (~\node_modules\kuromoji\src\viterbi\ViterbiBuilder.js:53:48) at Tokenizer.getLattice (~\node_modules\kuromoji\src\Tokenizer.js:126:33) at Tokenizer.tokenizeForSentence (~\node_modules\kuromoji\src\Tokenizer.js:81:24) at ~\node_modules\kuromo jin\lib\kuromojin.js:60:26 at <anonymous> catchしてスキップすればいいだけなので困ってはいないが、原因調査。 結
Spark StreamingでTwitter構文解析 (Twitter4J利用) - Qiita
こちらを参考に、Apache SparkのSpark Streamingを使用した、リアルタイムのTwitter構文解析処理を試した手順を纏めます。実行環境は次の通りです。 ・CentOS 7.5 ・Apache Spark 2.3.1 ・Scala 2.12.6 ・kuromoji 0.7.7 ・Spark Streaming Twitter 2.10 rev 1.1.0 ・Twitter4J 3.0.3 Twitter解析 実行結果 「iPhone6」が含まれるTweet中に出現する単語と、その頻度をカウント Apache Spark、Scala、sbtのインストールは、こちらの手順で実施しました。 kuromojiのインストール SPARK_HOMEへのkuromoji(日本語形態素解析エンジン)のダウンロードと展開 # cd /usr/local/lib/spark # wget
さだまさしを kuromoji を用いて簡単に品詞分解してみる - Qiita
さだまさし 名詞-固有名詞-人名-一般 さだまさしの、主に詩の歌詞を対象に、簡単な品詞分解と、それを基にした簡単な分析を行ってみた、というのがこの記事の内容です。 個人的な最終的なゴールは、さだまさし風の歌詞を自動生成する bot (さだロボ) を作る事になりますが、その過程を週一でディアゴスティーニ的に（サダゴスティーニとかは節度のある大人なので言わない）書いていければと思います。 ついでに、その道すがら、ちょっとした解析・分析結果なども書いていきます。 道具の用意 解析するにあたっていくつか道具が必要なので、最初に、使用したツール群について簡単にお話します。 kuromoji KuromojiはJavaで書かれているオープンソースの日本語形態素解析エンジンです。 Java で形態素解析を行いたい場合、昔は「Sen」などを使うことが多かったですが、atilika 社が OSS として k
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
stoptags一覧 - Qiita
