「Hatena Engineer Seminar #5 @ Tokyo」を開催しました＆資料を公開しました #hatenatech
こんにちは。はてなチーフエンジニアの id:Songmu です。 去る、6月16日（火）にHatena Engineer Seminar #5をはてな東京オフィス、イベントスペースにて開催いたしました。火曜の夜という時間帯にも関わらず、多数のご参加誠にありがとうございました。 今回は、全文検索やレコメンドエンジン、機械学習などコアな技術について、はてなならではの取り組みをお伝えできたのではないかと思います。 それぞれ短いながらボリュームのある内容であったので、参加者の皆様の頭も疲れたのではないかとも思いますが、その後の懇親会も非常に盛り上がっていたのも開催者として非常に嬉しく思いました。 これからも、定期的にEngineer Seminarを開催し、皆様にはてな内での技術的取り組みをお伝えしていきます。また、アンケートにも皆様熱心にお答えいただきましてありがとうございました。頂きましたフィ
Indexing Performance Tips | Elasticsearch: The Definitive Guide [2.x] | Elastic
If you are in an indexing-heavy environment, such as indexing infrastructure logs, you may be willing to sacrifice some search performance for faster indexing rates. In these scenarios, searches tend to be relatively rare and performed by people internal to your organization. They are willing to wait several seconds for a search, as opposed to a consumer facing a search that must return in millise
![Indexing Performance Tips | Elasticsearch: The Definitive Guide [2.x] | Elastic](https://cdn-ak-scissors.b.st-hatena.com/image/square/cbbc87b803e58787f8346841e5b65698d408f3c5/height=288;version=1;width=512/https%3A%2F%2Fwww.elastic.co%2Fstatic%2Fimages%2Felastic-logo-200.png){kind=logo}
第8回 Elasticsearch 勉強会に行ってきた #elasticsearch #elasticsearchjp - weblog of key_amb
2/13(金)に開催された第8回 Elasticsearch 勉強会に行ってきました。 第8回elasticsearch勉強会 #elasticsearch #elasticsearchjp - elasticsearch勉強会 | Doorkeeper 以下、内容のメモです。 1. Elasticsearch導入チェックリスト / @johtani Elasticsearch株式会社の Jun Ohtani さんによる Install & 初期セットアップガイド。 ハマリポイントの紹介込み。 JVM / Elasticsearch のセットアップ内容の一部については、Elasticsearch 公式ドキュメントの http://www.elasticsearch.org/guide/en/elasticsearch/reference/current/setup-configuratio
ElasticSearch Cache Usage - Sematext
We’ve been doing a ton of work with ElasticSearch. Not long ago, we had a few situations where ElasticSearch would “eat” all the JVM heap memory we give it. It was so hungry, we could not feed it enough memory to keep it happy. It was insatiable. After some troubleshooting and looking at SPM for ElasticSearch (btw. we released a new version of the SPM agent earlier this week, so if you don’t ha
Private Presentation
Private content!This content has been marked as private by the uploader.
Elasticsearch Java Virtual Machine settings explained
Today, it finally happened. Java 6 ("Mustang"), which appeared early 2006 and is still in production at many places, has reached end of life. There is no longer a reason not to transition to Java 7 ("Dolphin") [1]. This occasion inspired me to write a blog post about the intriguing details about the subtleties of Java 6 and 7 Virtual Machine settings and Elasticsearch. Elasticsearch comes with som
Elasticsearch Indexing Performance Cheatsheet
You plan to index large amounts of data in Elasticsearch? Or you are already trying to do so but it turns out that throughput is too low? Here is a collection of tips and ideas to increase indexing throughput with Elasticsearch. Some of them I have successfully tried myself, others I have only read about and found them reasonable. In any case, I hope you will find them useful. In order to fit all
Cluster機能を使う – AWSで始めるElasticSearch(2) | DevelopersIO
はじめに 出張ブロガーの@smokeymonkeyです。今回はElasticSearchのCluster機能を使ってみました。 Cluster設定 ElasticSearchの設定は/etc/elasticsearch/elasticsearch.ymlで行いますが、このファイルの冒頭には以下のように記載されています。 Most of the time, these defaults are just fine for running a production cluster. ということで細かい設定せずにこのままいっちゃいます。 まず、ElasticSearchをセットアップした2台のEC2を用意し、セキュリティグループで9200/tcp、9300/tcpのInboundをオープンします。 ElasticSearchはAPI over HTTPで9200-9300/tcpを、クラスタ間の
Elasticsearchチュートリアル - 不可視点
目的 検索用サーバーとして最近注目されているElasticsearchですが、ついに1.0 RC1がリリースされたそうです。 Googleトレンドを見ても、この分野で先行するApache Solrに迫る勢いを感じます。 そういうわけで私もElasticsearchについて興味を持って調べてみましたが情報がちょっと少ないですね… 「調べたけど断片的な情報しかない」 「公式doc英語だし、専門用語が多すぎてわからん」 「え、できること多すぎ。よくわからん。どれが重要？」 と言った感じで、最初ちょっと大変… そこで調べ始める人が、概観をつかむためのチュートリアルをつくろうと思います。 コマンドを全部実行する必要ありません。用語をおさえることで調べものが捗ることがひとつのゴールです。 自分の理解の整理も兼ねています。間違ってる箇所あったら教えて下さい。 part 1:ESを使ってレストラン検索を作
いつも入れているElasticsearchのプラグイン
elasticsearchに、このへん入れるときっと幸せになれるはず・たぶん。 elasticsearch/elasticsearch-analysis-kuromoji/1.6.0 oyrusso/elasticsearch-HQ mobz/elasticsearch-head — toshi_miura (@toshi_miura) 2014, 3月 5 こんなツイートを見かけたので、普段入れてるプラグインを簡単に紹介してみようかと。 ローカルの環境に普段入れているプラグインの紹介です。 ちゃんとクラスタを管理しているというよりは、最新版の動作などを確認するための環境になります。なので、ちょっと視点が異なるかもしれませんが参考になればと。 elasticsearch-analysis-kuromoji URL : elasticsearch-analysis-kuromoji Kuro
Elasticsearch 日本語で全文検索 その２
Elasticsearch では、すでに日本語で全文検索する為のトークナイザーやノーマライズなどの加工処理で使用するフィルターなどがビルトインまたは、サードパーティ製のプラグインとして多数存在します。 ここでは、日本語全文検索で使用しそうなトークナイザーやフィルターなどを説明します。 主要モジュールNGram Tokenizer N-グラムを提供するトークナイザーです。Elasticsearch にバンドルされています。Japanese (kuromoji) Analysis for Elasticsearch 日本語形態素解析を提供するプラグインです。各種 Analyzer、Tokenizer、TokenFilterが含まれます。cjk_width Token Filter 半角・全角などを統一するためのフィルターです。Elasticsearch にバンドルされています。Lowercas
Jepsen: Elasticsearch
This post covers Elasticsearch 1.1.0. In the months since its publication, Elasticsearch has added a comprehensive overview of correctness issues and their progress towards fixing some of these bugs. Previously, on Jepsen, we saw RabbitMQ throw away a staggering volume of data. In this post, we’ll explore Elasticsearch’s behavior under various types of network failure. Elasticsearch is a distribut
Elasticsearchとkuromojiでちゃんとした日本語全文検索をやるメモ | GMOメディア エンジニアブログ
技術推進室の浅井です。Elasticsearchで日本語全文検索をちゃんとやるための説明、日本語でちゃんと書かれているものが無くて少々困ったので、ちゃんと書いてみます。 Elasticsearchのインストール※ 2013/12/17 13:30 インストールするJDKのバージョンを7u45から7u25に変更 ※ 2013/12/17 12:50 JDKのバージョンについての説明を追記 @johtani さん指摘ありがとうございます この記事内の説明でOracle JDK 7u45をインストールしていましたが、Apache Luceneが7u45を推奨していないため、7u25をインストールしたほうが良いようです。（後ほど記事内の説明も修正します 修正しました） http://lucene.472066.n3.nabble.com/What-is-recommended-version-of
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Elasticsearch 1.5.0 Released
Loading...
Changing Mapping with Zero Downtime
Elasticsearch Users - Get last indexed document id
Warmers | Elasticsearch Guide [8.13] | Elastic
https://kijtra.com/article/elasticsearch-kuromoji-user-dictionary/
Reddit - Dive into anything
