お金をかけずにサーバーの勉強をしよう - OpenSearchで日本語の検索をする -
こんにちは。 「OpenSearchインストール」でデータベースが動くようにし、 「OpenSearch Dashboardsインストール」で、ダッシュボードも使えるようになり、 「OpenSearchのユーザー追加」で、一般ユーザーを登録することができ、 「OpenSearchのインデックスに Pythonでデータを突っ込む」で、日本語データが入ったインデックスを作ることができました。 しかし、日本語検索結果はノイズが入ってしまいイマイチなところがありますので、日本語形態素解析エンジンを OpenSearchで使えるようにしましょう。 それがこれ。 kuromoji OpenSearchはプラグインとして kuromojiをインストールすることができます。 プラグインのドキュメントはこちら Installing plugins このドキュメントを見ると、Additional plugin
Elasticsearch、Logstash、Kibana、Kuromojiでタグクラウドを作る - Taste of Tech Topics
突然ですが、我が家は2階にリビングがあるタイプの戸建てでして、天井が勾配していてカッコイイ感がすごいのですが、この季節は暖房の熱がどんどん登ってしまってなかなか部屋が暖まりません。 要するに寒いという話なのですが、皆さんいかがお過ごしでしょうか、@cero_t です。って僕のジョークと家の寒さは関係ないですから💢 さて、このエントリーは Elastic Advent Calendar の18日目です。 qiita.com 元々、マイクロサービスの可視化や、Kafkaを用いたデータ収集の安定化について書くつもりだったのですが、思いつきで作ったタグクラウドが予想外にイイ感じだったので、このエントリーではその経緯を紹介したいと思います。 タグクラウドとは、文中に頻繁に登場するワードを上の絵のように可視化する機能です。 最近リリースされたKibana 5.1.1に新しく追加されました。 この機能
Elasticsearchを日本語で使う設定のまとめ - Qiita
すっかり春めいてきましたねぇ。もう少しでの季節です。 AWSでElasticsearch（5.1）が使える！ 2017年1月30日から、AWSのElasticsearchで5.1.1が使えるようになりました（AWSのお知らせ）とっても嬉しいこのアップデート、APIがすぐに試せるKibanaの開発consoleもついてきて、とても使いやすくなりました。 さてさて、しかし、日本語を検索するシステムで使う場合は、Elasticsearchに日本語の設定をしないと使えないですね。日本語の文字の細かい処理…というと、Windows XPからWindows 7に切り替わるときに、表示される字体が変わってしまったいわゆるJIS2004問題を思い出しますが…もう一昔前の話なんでしょうか… 『辻』（つじ）という文字が、一点シンニョウから二点シンニョウになった、アレですね。 日本語を使うときの設定は？ AWS
ElasticSearch と Kuromoji で日本語検索エンジンを作る : まだプログラマーですが何か？
# yum install java-1.7.0-openjdk 次に検索エンジンである ElasticSearch 本体を導入します。公式サイトから最新版（2016/07/11時点では 2.3.4）のインストールモジュールをダウンロードします。インストールモジュールにはいくつかの種類はありますが、今回は rpm パッケージ版(elasticsearch-2.3.4.rpm)をダウンロードします： https://www.elastic.co/downloads/elasticsearch ダウンロードできたら rpm コマンドでインストールして起動、および自動起動設定までを行います。ちなみにこの rpm 版をインストールした場合、ElasticSearch 本体は /usr/share/elasticsearch/ 以下に導入されます ： # rpm -ivh elasticsearch
Japanese (kuromoji) analysis plugin | Elasticsearch Plugins and Integrations [8.11] | Elastic
The Japanese (kuromoji) analysis plugin integrates Lucene kuromoji analysis module into Elasticsearch. Installationedit This plugin can be installed using the plugin manager: The plugin must be installed on every node in the cluster, and each node must be restarted after installation. You can download this plugin for offline install from https://artifacts.elastic.co/downloads/elasticsearch-plugins
![Japanese (kuromoji) analysis plugin | Elasticsearch Plugins and Integrations [8.11] | Elastic](https://cdn-ak-scissors.b.st-hatena.com/image/square/cbbc87b803e58787f8346841e5b65698d408f3c5/height=288;version=1;width=512/https%3A%2F%2Fwww.elastic.co%2Fstatic%2Fimages%2Felastic-logo-200.png){kind=logo}
Apache Sparkで始めるお手軽機械学習(Word2Vec編) | NTTデータ先端技術株式会社
Apache Sparkと機械学習 当社のコラムでも既に何度か取り上げてきたが、Apache Sparkがいよいよ本格的な流行の様子を見せている。Apache Sparkは下図のようなエコシステムを持っているが、特にその中でも、Spark Streamingによるリアルタイム処理とともに、MLlibによる機械学習処理が人気を博している。日本ではHiveを用いてのバッチ処理高速化にてHadoopが広く使われるようになったが、Apache Sparkの場合は、リアルタイム処理・機械学習処理を糸口にパラダイムシフトが行われていると言っても過言ではないだろう。 （出典：Apache Spark公式サイト ） 本コラムではMLlibを用いての機械学習処理について簡単な使い方を説明するものとする。 Apache Sparkは分散メモリRDDを活用することで、特定のデータに対する繰り返し処理に向くアーキ
ブラウザで自然言語処理 - JavaScriptの形態素解析器kuromoji.jsを作った
概要 簡単に使える Pure JavaScript の形態素解析器 kuromoji.js を書きました。今回は、簡単に kuromoji.js を紹介したあと、セットアップ方法を解説します。ついでにロードマップ的なものも晒してみます。みんなでブラウザ NLP しよう！ kuromoji.js とは 言わずと知れた Java の形態素解析器 Kuromoji を JavaScript に移植したものです。 kuromoji.js の GitHub リポジトリ と言っても、機械的に Java から JavaScript に置き換えたものではないため、API も違いますし、メソッド名やその内部も大幅に異なります。そもそも自分が形態素解析について勉強するために書き始めたため機械的なトランスレートに興味がなかったこと、また言語ごとに使いやすい API は異なると考えていることが理由です。 Node
kuromojiでユーザー辞書を使用する - Qiita
resolvers += "ATILIKA dependencies" at "http://www.atilika.org/nexus/content/repositories/atilika" libraryDependencies ++= Seq( "org.atilika.kuromoji" % "kuromoji" % "0.7.7" , "com.typesafe" % "config" % "1.2.1" ) object ExTokenizer { def tokenize(text: String): Iterator[Token] = { Tokenizer.builder() .userDictionary(".\\src\\main\\resources\\userdict.txt") .build().tokenize(text).iterator().toIte
Java製形態素解析器「Kuromoji」を試してみる
概要 Javaの比較的新しい形態素解析器、Kuromoji。 lucene-gosenやGomokuのように辞書内包で、jarを落とせばその場で利用でき、Unidicに対応していて、ソースがLuceneのtrunkにコミットされているという、何かと気になる特徴の持ち主。 複数のモードを持っているようで、Searchモードを使うと「日本経済新聞」を「日本 | 経済 | 新聞」のように検索で利用しやすい形にばらして解析してくれたり、Extendedモードを使うと未知語をuni-gramにしてくれたりもするらしい。 今日はそんなKuromojiさんの導入から簡易な使い方までをさらっと追いかけてみた。 導入 まずは下記ページからダウンロード。今回はkuromoji-0.7.5.tar.gzを利用。 Downloads - atilika/kuromoji https://github.com/at
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - codelibs/elasticsearch-analysis-kuromoji-ipadic-neologd: Elasticsearch's Analyzer for Kuromoji with Neologd
Japanese (kuromoji) analysis plugin | Elasticsearch Plugins and Integrations [master] | Elastic
GitHub - elastic/elasticsearch-analysis-kuromoji: Japanese (kuromoji) Analysis Plugin
Scalaでkuromojiを使ってみるメモ - Qiita